EB
Это уже как вы решите и договоритесь с бизнесом.
Size: a a a
2019 September 05
O
Что такое чистая регрессия?
+1
B
Olga
запускать или не запускать - это мне понятно, вопрос писать их или не писать, в условиях ограниченных ресурсов на автотесты :) (не забываем же еще и про поддержку + наличие flaky tests).
Вы там - в одном лице принимаете решение? Кроме вас никого нет?
O
в моем понимании регрессия это как раз то что гоняется часто
А
Olga
запускать или не запускать - это мне понятно, вопрос писать их или не писать, в условиях ограниченных ресурсов на автотесты :) (не забываем же еще и про поддержку + наличие flaky tests).
В зависимости от критичности бага и его влияния
EB
Посчитаете что для вас больнее : руками тестировать или по времени проседать , обсудите и решите. Нет серебряной пули
O
В зависимости от критичности бага и его влияния
тесты и баги - не одно и то же, бага там, может, триста прогонов еще не будет :)
O
"чистая регрессия" - грубо говоря, тесты, которые надо делать только в том случае, если изменения кода вот прямо в этом месте сделаны и велика вероятность поломки. но это мы пока выполняем вручную
А
Olga
"чистая регрессия" - грубо говоря, тесты, которые надо делать только в том случае, если изменения кода вот прямо в этом месте сделаны и велика вероятность поломки. но это мы пока выполняем вручную
Вот и вылезает “баг” 🙂
EB
«Чистая» как-то странно описывает кусочек регрессии :)
B
Это грубое описание...)
ON
абсолютная регрессия
O
Какие вы общительные сегодня :)
B
Olga
"чистая регрессия" - грубо говоря, тесты, которые надо делать только в том случае, если изменения кода вот прямо в этом месте сделаны и велика вероятность поломки. но это мы пока выполняем вручную
Интересно, у кого-то в проекте решена эта проблема? Стартовать только чистые регрессии?
VG
Olga
Здравствуйте. Как вы считаете:
а) нужно ли автоматизировать тесты, которые относятся к чистой регрессии и которые нет особого смысла повторять часто
б) если так вышло, что эти тесты уже написаны, нужно ли их удалять, или оставить и задизаблить, или все-таки ранать, раз уж есть?
(мое мнение - а) нет б) выкинуть нафиг, но возможно я неправа).
а) нужно ли автоматизировать тесты, которые относятся к чистой регрессии и которые нет особого смысла повторять часто
б) если так вышло, что эти тесты уже написаны, нужно ли их удалять, или оставить и задизаблить, или все-таки ранать, раз уж есть?
(мое мнение - а) нет б) выкинуть нафиг, но возможно я неправа).
А почему не оптимизировать запуск тестов под Ваши нужды ничего из них не удаляя и запускать тот набор тестов, который вам нужен в конкретной ситуации?
EB
в моем понимании регрессия это как раз то что гоняется часто
Как часто? 10 раз в час? На каждый комит? На пачку коммитов?)) Так много вопросов...
регрессия может гоняться вообще 1-2 раза на релиз-кандидат ветке, при условии, что какой-нибудь гит-флоу в команде практикуется и на каждую ветку перед мерджем в релиз-кандидат ветку на фича-бранчах прошли как раз те самые акцептанс тесты «кусочные». Тогда 1-2 прогона регрессии на релиз-кандидате, 1 итерация ре-теста == профит. Так что «то что часто гоняется» не совсем бывает повсеместным атрибутом регрессии
регрессия может гоняться вообще 1-2 раза на релиз-кандидат ветке, при условии, что какой-нибудь гит-флоу в команде практикуется и на каждую ветку перед мерджем в релиз-кандидат ветку на фича-бранчах прошли как раз те самые акцептанс тесты «кусочные». Тогда 1-2 прогона регрессии на релиз-кандидате, 1 итерация ре-теста == профит. Так что «то что часто гоняется» не совсем бывает повсеместным атрибутом регрессии
A
Помню была проблемка юайная, очень тривиальная, лидером фронтов сказал что за секунду поправит на проде и не надо ничего делить и проверять, в итоге весь день регистрация не работала и никто не знал ))
O
Потому что ресурс на автоматизацию ограничен (нет времени + у нас маловато опыта, учились с нуля и там в проекте и так хватает проблем, которые надо исправить), а тесты требуют ресурса не только на написание, но и на поддержку. (сорри это ответ Владимиру)
EB
Помню была проблемка юайная, очень тривиальная, лидером фронтов сказал что за секунду поправит на проде и не надо ничего делить и проверять, в итоге весь день регистрация не работала и никто не знал ))
Белый ящик в помощь, аудит правок на бою, Peer review (пара лишних глаз) любого «хотфикс» кода в обход долгого и надежного пайплайна
O
Помню была проблемка юайная, очень тривиальная, лидером фронтов сказал что за секунду поправит на проде и не надо ничего делить и проверять, в итоге весь день регистрация не работала и никто не знал ))
проблема, как я понимаю, не была связана напрямую с регистрацией?