OS
Тут проблема в том, что ретраи могут маскировать еще и хреновые тесты с точки зрения перформанса
> есть рестарт помог- гуд, 99.9995% вероятности - что бага нет
если у меня флакинесс <1%, то я с радостью проанализирую каждое падение
Size: a a a
2020 April 16
B
Oleksandr Shevtsov
Тут проблема в том, что ретраи могут маскировать еще и хреновые тесты с точки зрения перформанса
обычно плохой перформанс у продукта в тестовой среде, а не у тестов, да
OS
Либо не достаточные/не правильные ожидания элементов, апи и так далее
AP
имхо - рестарт скрывает проблемы ( потенциально ) и это никак нельзя починить, поэтому ретраи - это либо плохие тесты, либо плохая апп, либо нейтрино
SM
но так-то ретраи - это когда мы перекладываем принятие решения на тему “сбой ли это” на машину. машина должна работать, человек - думать
B
имхо - рестарт скрывает проблемы ( потенциально ) и это никак нельзя починить, поэтому ретраи - это либо плохие тесты, либо плохая апп, либо нейтрино
нейтрино- сойдемся на нем )
AP
первые два пункта - проблемы, которые моно починить. то что впадлу разбиратся - это другой вопрос
AP
конечно проще назвать это глюком
AP
ничего делать не надо
BO
вопрос не впадлу, а в приоритетах 😉
SM
“впадлу разбираться” - это когда над головой стоит кто-то, кто по сути говорит “увеличиваем количество покрытия и забиваем болт на качество”
B
имхо - рестарт скрывает проблемы ( потенциально ) и это никак нельзя починить, поэтому ретраи - это либо плохие тесты, либо плохая апп, либо нейтрино
у тебя мало пунктов:
- плохие тесты
- плохие апи
- плохое окружение
- чертова этажерка из инструментов
- нейтрино
- плохие тесты
- плохие апи
- плохое окружение
- чертова этажерка из инструментов
- нейтрино
AP
вопрос не впадлу, а в приоритетах 😉
да...но добавлять ретраи которые скрывают кучу проблем и делать вид что все ок - ну хз как гореть должно
B
вопрос не впадлу, а в приоритетах 😉
и в деньгах
накидай машинку помощнее как на проде - думаю у половины здесь присутствующих флаки пропадут
но в реальной жизни человек в браузере нажмет F5, даже в ВКонтакте
накидай машинку помощнее как на проде - думаю у половины здесь присутствующих флаки пропадут
но в реальной жизни человек в браузере нажмет F5, даже в ВКонтакте
SM
да...но добавлять ретраи которые скрывают кучу проблем и делать вид что все ок - ну хз как гореть должно
это когда хотят тестирование как в большом проекте, а ресурсов дают, как на маленький
B
да...но добавлять ретраи которые скрывают кучу проблем и делать вид что все ок - ну хз как гореть должно
ретраи замечательно видны в отчете. иногда они могут и не помочь - тогда уже смотришь, что же там падает
B
но дать еще один шанс пройти тесту - я думаю это норма
зы: не в случае юнитов
зы: не в случае юнитов
AP
ретраи замечательно видны в отчете. иногда они могут и не помочь - тогда уже смотришь, что же там падает
это еще хуже, потому как способствует тому чтоб красные тесты в отчете игнорились
BO
ретраи замечательно видны в отчете. иногда они могут и не помочь - тогда уже смотришь, что же там падает
интересно в каком отчете?