Size: a a a

QA — Автоматизация

2019 November 14

KS

Kolya Sid in QA — Автоматизация
Ну могу прям скрин лога приложить, если это конечно поможет
источник

KS

Kolya Sid in QA — Автоматизация
Просто вчера большое количество времени провёл гугля и пытаясь, но попытки особо успехом не увенчались
источник

EV

Elena V in QA — Автоматизация
Kolya Sid
товарищи нужна помощь, установил идею, в зависимости закинул селениум веб драйвер и мавен, но не могу это все дело импортнуть, в логах не могу понять в чем дело, напишите в лс если кто - то знает плз
Драйвер не только в зависимости. Драйвер браузера ещё в пути нужно закинуть. (Я не о селениуме). Не забыл?
источник

EV

Elena V in QA — Автоматизация
Что у тебя на локалхосте? Сам по себе в браузере что нужно открывает?
источник

A

Ann in QA — Автоматизация
Evgenii B
#question #test_design #manual #automation #bus_factor
Чат, есть вопрос по тест-дизайну,

Представьте что есть тестировщики и они педалят тесты и пишут их в тестплан. Все проверки так или иначе ориентированы на грубо говоря какой-то network_id. Каждый нетворк -- это набор выбранных в него "фичей", то есть не факт, что такой нетворк будет создан в реальности. Тестировщики решили насобирать таких нетворков с разными сочетаниями,


Тестировщики эти работают по черному ящику,
Автоматизатор решает эти кейсы автоматизировать, но получает много вопросов от разработчика "ты проверяешь это в другом кейсе, а можно в одном", то есть здесь получается, что тест дизайн от программиста включает знание системы и того, откуда растут ноги у "разных" нетворков. Ручные тестировщики при этом пилят, особо в код не смотря.

Это была ситуация, а теперь вопросы:
1) не вносит ли автоматизатор бас фактор. создавая тесты, в дизайне которых ручные тестировщики не участвуют
2) не лучше ли научить тестировщиков руками тест-дизайнить так, чтобы вопросов от разработчика таких не было (другими словами, тестировщики должны используя белый ящик и классы эквивалентности нарезать тест-кейсов минимально допустимое количество)
3) Не кажется ли вам расхождение автотестов от существующих тест планов бомбой замедленного действия?Даже если они time efficient
А просто интересно, какой пример ситуации, когда проверки в двух кейсах, а знание деталей реализации говорит о том, что кейс может быть один?
Просто, там не может быть ситуации, что разработчик исходит из знания внутренних особенностей, исходя из этих знания мы пишем тесты, а при изменении реализации тесты становятся не такими уж хорошими?
источник

LY

Lev Yarushin in QA — Автоматизация
Evgenii B
да просто нужно признать, что тест-планы для ручного теста не являются single source of truth, и сделать собственный тест-дизайн док, в котором описать как все тест-кейсы создаются. ну то есть у меня нет проблем с тем, чтобы понимать, что обучать ручных тестировщиков может быть дорого и неэффективно, другие задачи сейчас стоят. Главное это не уронить traceability тестов и того, почему данный тест кейс существует.
Тогда bus factor во всей красе. Ибо знать что делает тест будет только один. Разбираться в его записях (если он их всё же оставил) тоже время.
источник

EB

Evgenii B in QA — Автоматизация
Ann
А просто интересно, какой пример ситуации, когда проверки в двух кейсах, а знание деталей реализации говорит о том, что кейс может быть один?
Просто, там не может быть ситуации, что разработчик исходит из знания внутренних особенностей, исходя из этих знания мы пишем тесты, а при изменении реализации тесты становятся не такими уж хорошими?
Типичный пример: проверка двух типов «аккаунтов», которые наследуют черты общего парент-класса
источник

A

Ann in QA — Автоматизация
Evgenii B
Типичный пример: проверка двух типов «аккаунтов», которые наследуют черты общего парент-класса
А если вдруг какой-то рефакторинг, и у этих типов станут разные парент-классы, при этом тестируемый функционал внешне не изменится?
Или информация о таких изменениях доносится до тестировщиков, и они будут знать, что надо тесты переписать?
источник

EB

Evgenii B in QA — Автоматизация
Lev Yarushin
Тогда bus factor во всей красе. Ибо знать что делает тест будет только один. Разбираться в его записях (если он их всё же оставил) тоже время.
Ну вот я этого и хочу избежать :) но учить тестировщиков автоматизации — серьезный коммитмент, его просто так ни начальство, ни сами тестировщики могут не принять :) сопряжено с повышенными ожиданиями, зарплатных амбициями и тд
источник

EB

Evgenii B in QA — Автоматизация
Ann
А если вдруг какой-то рефакторинг, и у этих типов станут разные парент-классы, при этом тестируемый функционал внешне не изменится?
Или информация о таких изменениях доносится до тестировщиков, и они будут знать, что надо тесты переписать?
Я думаю что такие изменения доносятся в поведении, но не причине изменения поведения. Потому что уайт-бокса нет, и тест дизайн рассматривает сущности под тестом как независимые.
источник

LY

Lev Yarushin in QA — Автоматизация
Evgenii B
Ну вот я этого и хочу избежать :) но учить тестировщиков автоматизации — серьезный коммитмент, его просто так ни начальство, ни сами тестировщики могут не принять :) сопряжено с повышенными ожиданиями, зарплатных амбициями и тд
Это проблема начальства, если профит будет  - они согласятся. К тому же у него могут быть иные причины для увеличения бюджета )
источник

AB

Alexei Barantsev in QA — Автоматизация
чтобы узнать, надо ли больше тестов, не появилась ли в коде какая-то новая фигня — просто измеряйте покрытие кода
источник

AB

Alexei Barantsev in QA — Автоматизация
будет рефакторинг, появится новый непокрытый код (хотя это уже не совсем рефакторинг, скорее "дописывание") — вы об этом узнаете
источник

EV

Elena V in QA — Автоматизация
Иногда информация о рефакторинге в коде может не доноситься юайным тестировщикам черного ящика. Тогда грубо говоря если кейсы имеют что-то общее но все же разные - можно определить приоритет. Один из них выше другого. Можно автоматизировать оба в принципе и один будет входить в хаест кейсы, а другой в соедненькие.

Или один автоматизирован, а другой раз в недели две-три вручную проверяют для контроля редкого.

Тогда основной кейс у вас под контролем. А если отвалится по странным причинам после неизвестного рефакторинга второстепенный - вы узнаете и потом его тоже автоматизирует.
источник

AB

Alexei Barantsev in QA — Автоматизация
а если всё останется покрыто — ну, гут, не надо тесты переделывать
источник

EV

Elena V in QA — Автоматизация
Угу
источник

AB

Alexei Barantsev in QA — Автоматизация
случай из практики, когда мы попали на баг, потому что не измеряли покрытие. были у нас тесты для некой функции, которая выполняет сортировку данных. программисты оптимизировали её, добавили вторую стратегию сортировки, которая используется при определённых условиях, и там сделали баг. но мы про это не узнали, потому что "не было функциональных изменений", на сообщение о том, что разработчики "оптимизировали сортировку" мы как-то не отреагировали. ну и всё — про баг сообщили уже пользователи
источник

AB

Alexei Barantsev in QA — Автоматизация
а если бы мы покрытие измеряли — быстро бы за руку их поймали
источник

EV

Elena V in QA — Автоматизация
Так а юнитами они не покрывают сами свой код?
источник

AB

Alexei Barantsev in QA — Автоматизация
это и были своего рода юнит-тесты
источник