BO
буду из категории 3)
Size: a a a
2020 April 16
SM
буду из категории 3)
пришёл лесник и всех нас прогнал 🙂
B
> есть рестарт помог- гуд, 99.9995% вероятности - что бага нет
если у меня флакинесс <1%, то я с радостью проанализирую каждое падение
если у меня флакинесс <1%, то я с радостью проанализирую каждое падение
1% - это сколько по количеству? )
SM
1% - это сколько по количеству? )
в моём понимании, 1% - это от количества сбойных запусков, а не сбойных тестов
B
ну ребята - вы правильно говорите: ретраи - не есть хорошо
но будем объективны - не везде получится от них избавиться
но будем объективны - не везде получится от них избавиться
SM
запусков в день - десятки или сотни
B
все вышеперечисленное входит в 1% флаки тестов
а у тебя какое понимание? 1% от сборок или от количества тестов в одной сборке?
SM
вроде как, даже если в сьюте тыща тество и один упал - то вся сьюта считается падшей, не так ли?
BO
допустим
BO
при этом заибваем на разницу упало 999 тестов или упал 1 в сьюте?
BO
хорошая метрика получается. качественная. панимаю
SM
при этом смотрим на основную цель (зелёная сьюта), а не на метрико-подорожники (Х тестов упало)
BO
не совсем понимаю, как тебе это помогает. ну вот есть у тебя 5 процентов падающих сьютов. в этих 5 процентах может быть по 5% флеки тестов в сьюте или по 1%... в итоге "качества" ты не видишь такой метрикой
BO
но если на сотке ранов в день, то в целом да
AP
а у тебя какое понимание? 1% от сборок или от количества тестов в одной сборке?
1% упавших тестов
B
надо смотреть на обе метрики
процент флаки внутри сборки - важная метрика
это трудозатраты автоматизатора и других участников тестирования, кто смотрит на тесты
процент флаки внутри сборки - важная метрика
это трудозатраты автоматизатора и других участников тестирования, кто смотрит на тесты
BO
но при таком количестве просто нельзя вкидывать тесты не прогнав их 100 раз до вливания в основной бранч
B
во всех видео, которые я успел уже посмотреть за все годы - все автоматизаторы на вопрос - сколько падает: признаются - флаки есть и не превышает условно n%
BO
ШОК автоматизаторы признались в таком!
B
))))