Size: a a a

2019 December 17

DA

Dmitry Archie in QA Alliance
Анна Васильева
Ну так и автоматизируют, автотесты часто падают(из-за неверного xpath или тайм-аута отображения странички), а ручнику приходится перепроходить и заводить задачу на обновление автотеста. Боль.
Обновление автотеста - проблема разработчика который этот автотест сломал: нелььзя мёрджить код на котором падают тесты.
источник

DA

Dmitry Archie in QA Alliance
Боль началась с того момента, как появилась задача на обновление теста.
источник

В

Вовка in QA Alliance
Dmitry Archie
Обновление автотеста - проблема разработчика который этот автотест сломал: нелььзя мёрджить код на котором падают тесты.
а у нас думаю совсем по другому:)
источник

DA

Dmitry Archie in QA Alliance
Ну или может попросить тестировщика помочь починить тест, если сам не может: садимся за парное программирование, клавиатура - у разработчика, тестировщик говорит что делать и где править
источник

DA

Dmitry Archie in QA Alliance
Когда фича зависит от того упадёт ли тест - постепенно исчезают все xpath и заменяются нормальными селекторами и как следствие - перестают падать.
источник

АВ

Анна Васильева... in QA Alliance
Dmitry Archie
Обновление автотеста - проблема разработчика который этот автотест сломал: нелььзя мёрджить код на котором падают тесты.
У нас начинается регресс, автоматизатор запускает автотесты и потом тестировщики их разбирают, перепроходят, страдают...
источник

АВ

Анна Васильева... in QA Alliance
Короче как в анекдоте про пожарного. Все нравится в своей работе, но как регресс, то хоть увольняйся
источник

АВ

Анна Васильева... in QA Alliance
Dmitry Archie
Обновление автотеста - проблема разработчика который этот автотест сломал: нелььзя мёрджить код на котором падают тесты.
Я больше про не стабильные автотесты
источник

DA

Dmitry Archie in QA Alliance
Главное - не давать ставить таймауты побольше 😉 У нас это прописано как "требование по производительности": Страница грузится не более 30 секунд, элемент на странице обновляется не более 10 секунд. Да, в этом плане у нас плохо, что долго, но зато точно не будет страниц, которые грузятся дольше. + есть набор тестов, где эти параметры выставлены в 10 и 3 секунд соответственно и те тесты что там падают - идут на разбор к ребятам, которые чинят проблемы производительности.
источник

ДИ

Дмитрий Игоревич... in QA Alliance
Dmitry Archie
Вроде бы это чертовски логично, но с другой стороны - есть люди, которые почему-то так не делают и бодаются с мёрджем ветки в мастер
разработчик считает, что он реализовал функционал и он готов..
а то что мерж потом ломает фукнционал , это проблема уже не его..  - он так думает
источник

DA

Dmitry Archie in QA Alliance
Анна Васильева
Я больше про не стабильные автотесты
Ну вот, как только их начинают править разработчики - они сразу становятся сильно стабильнее 😉
источник

КР

Константин Рассафоно... in QA Alliance
Анна Васильева
Я больше про не стабильные автотесты
Вот тут, помимо идеи "написал код, который сломал тест - чини тест", помогает ещё решительное выбрасывание всего, что реально нестабильное и не стабилизируется.
источник

КР

Константин Рассафоно... in QA Alliance
Dmitry Archie
Ну вот, как только их начинают править разработчики - они сразу становятся сильно стабильнее 😉
Это точно. Особенно, если без этой операции фича не едет релизится.
Единственная проблема, особо гордые чуваки, которые почему-то решили, что писать такой вид кода - это не для бояр
источник

ДИ

Дмитрий Игоревич... in QA Alliance
Константин Рассафонов
Здоровенный ручной регресс классический, это самая бессмысленная трата времени людей, которую в тестировании можно придумать.

Если уж есть неизменный набор операций, который каждый раз проводят, то казалось бы, вот он, кандидат для заветной "автоматизации", но нет. Надо ж людям "работать" в поте лица, чтоб начальство видело что дело делается.

Ух, как с этим пожеланием уставших людей бороться нелегко бывает.
я бы не был так категоричен..
все зависит от приложения
источник

КР

Константин Рассафоно... in QA Alliance
Конечно зависит, всё от всего зависит.
Но если регресс занимает много времени, а ещё важнее - занимает львиную долю от всего доступного времени на тестирование, то польза от ручного труда падает.
источник

КР

Константин Рассафоно... in QA Alliance
Там где могли кинуться на новые фичи или просто лишний раз эксплоративно по продукту пройти, приходится раз за разом стабильный набор действий проходить.
источник

DA

Dmitry Archie in QA Alliance
Константин Рассафонов
Конечно зависит, всё от всего зависит.
Но если регресс занимает много времени, а ещё важнее - занимает львиную долю от всего доступного времени на тестирование, то польза от ручного труда падает.
Если у тебя тестируется то, что по видеопроводу приходит сигнал без артефактов и есть куча полубесплатных студентов, то можно и ручной регресс делать
источник

КР

Константин Рассафоно... in QA Alliance
Dmitry Archie
Если у тебя тестируется то, что по видеопроводу приходит сигнал без артефактов и есть куча полубесплатных студентов, то можно и ручной регресс делать
Конечно, вопрос стоимости стабильных автотестов
источник

КР

Константин Рассафоно... in QA Alliance
Понятно, что отрисовку какого-нибудь OpenGL безартефактную проще мясной нейросеткой проверить
источник

D

Daria in QA Alliance
Анна Васильева
Короче как в анекдоте про пожарного. Все нравится в своей работе, но как регресс, то хоть увольняйся
Это прямо вот 100%.
источник