SS
Кейсы, которые не используются надо выкидывать. Кейсы которые используются тормозят релиз. Время на выпуск релиза почти всегда критично. Ставьте задачу ручному тестированию сократить время на тестирование без потери качества.
Size: a a a
2020 June 01
u
Ставьте задачу ручному тестированию сократить время на тестирование релиза без потери качества!
SS
Да! Это первая реакция на предложение удалить кейс, который с 2007 не нашёл ни один баг)
АН
Да! Это первая реакция на предложение удалить кейс, который с 2007 не нашёл ни один баг)
А вторая какая? Основная задача регресса находить баги? Если регресс не находит баги значит его в помойку?)
SS
Разметить по критичности, сделать большой набор и набор для минорных релизов. Мы тут сильно абстрактно говорим. Но изначально речь шла про 1000 кейсов не определенной свежести.
АН
Разметить по критичности, сделать большой набор и набор для минорных релизов. Мы тут сильно абстрактно говорим. Но изначально речь шла про 1000 кейсов не определенной свежести.
Действительно. Мне показалось разговор пошёл в сторону регресса, хотя изначально был в общем про тесткейсы. Хотя вначале вообще про TMS был разговор. Или я где-то потерял нить?) Про регресс всё понятно, а вот про целесообразность тест кейсов в общем это уже интереснее)
SS
Про целесообразность тесткейсов любой ответ может быть верным. В банках любят подшивать отчеты о тестировании. Кто-то может жить годами без тестировщиков. Надо идти от цели)
SS
Мертвые кейсы точно кушают деньги зря.
АН
Мертвые кейсы точно кушают деньги зря.
Я не совсем понимаю слово "Мёртвые". Если кейсы не менялись и они заавтомачены, то деньги они вроде как не кушают. А если их надо поддерживать, значит что-то меняется в том месте где они проверяют. И уж их тогда точно не назовёшь "Мёртвыми". С другой стороны если 1000 кейсов ручками, то звучит дико в наше время)
АН
Опять же я уточню. Мы говорим про регресс, я правильно понял? Кстати согласен про два набора тестов, у нас так)
OK
Я не совсем понимаю слово "Мёртвые". Если кейсы не менялись и они заавтомачены, то деньги они вроде как не кушают. А если их надо поддерживать, значит что-то меняется в том месте где они проверяют. И уж их тогда точно не назовёшь "Мёртвыми". С другой стороны если 1000 кейсов ручками, то звучит дико в наше время)
Завтоматизированные кейсы не кушают деньги?
АН
Завтоматизированные кейсы не кушают деньги?
А кушают?
АН
Если они не нуждаются в поддержке.
OK
А кушают?
Цена инстансов CI/CD + цена машины с браузерами \ облачного решения как минимум
АН
Цена инстансов CI/CD + цена машины с браузерами \ облачного решения как минимум
Ну предположим вместо 1000 тестов будет 500. Расходы сильно снизятся?
SS
В автоматизации тоже самое. Не надо держать лишнее. Мертвые - договоритесь о критерии внутри команды. Например, вероятность найти баг меньше 20% и это не приведёт к откату из прода
SS
Ну предположим вместо 1000 тестов будет 500. Расходы сильно снизятся?
Время!
АН
Время!
Первое что пришло в голову) Опять же решается разными путями насколько я понимаю, а не только урезанием.
SS
Да. Но параллелить мусор смысла нет. Время уходит ещё и на разбор результатов
АН
В автоматизации тоже самое. Не надо держать лишнее. Мертвые - договоритесь о критерии внутри команды. Например, вероятность найти баг меньше 20% и это не приведёт к откату из прода
А вот этого я пока не понял. Видимо что-то у меня с пониманием. Регресс это не про поиск багов, почему же тогда урезается по критерию "вероятность найти баг меньше 20%". Примеры примерами, но мне это читать странно) В чём я не прав?