Size: a a a

QA — Автоматизация

2020 February 20

EB

Evgenii B in QA — Автоматизация
Bola
А что это даст в конечном итоге - все нагенерированные тест кейсы?
Ну люди же как-то хотят трекать кейсы. Видимо в один тест репортить все исходы параметризации не очень удобно. Тестрейл вроде как не для этого предназначен, я там удобных полей для параметризации не припомню
источник

EB

Evgenii B in QA — Автоматизация
Можно на Шагах тестов извращаться
источник

X

X-rain in QA — Автоматизация
У нас куа команда заранее готовит тесты в ТестРейле, потому в целом концепт генерации тест кейсов звучит неплохо, но в нашем случае тесты просто не будут ничего создавать, т к уже все создано
источник

EB

Evgenii B in QA — Автоматизация
Bola
А что это даст в конечном итоге - все нагенерированные тест кейсы?
Как минимум, историю трендов по каждому из параметризированных тестов
источник

X

X-rain in QA — Автоматизация
Evgenii B
Можно на Шагах тестов извращаться
Это тоже отмели, так как нам еще и репорты нужны с тест рейла
Тут суть тест рейла скорее в том чтобы репорты по авто и мануальным тестам делать вместе (аллюр, экстент репортс и прочее отмел менджмент, т к репорты хотят видеть в одном месте и по мануальным и по авто тестам)
источник

EB

Evgenii B in QA — Автоматизация
Можно конечно все равно иметь один тест кейс в Тестрейле, просто вместо перезатирания поля с описанием ошибки добавлять всегда к полю данные об исходном датасете и соответствующий исход (ассерт/эксепшн)
источник

EB

Evgenii B in QA — Автоматизация
Ну то есть если teardown случается после каждого метода со своим датасетом, то придётся

А) делать Get на тест и описание, добавлять инфу по ещё одному падению > делать post/update запрос

Или

Б) вынести отправку запросов на уровень выше (class teardown?) где слать один запрос с объектом содержащим все ошибки
источник

X

X-rain in QA — Автоматизация
Спасибо за идеи! Буду думать дальше :)
источник

B

Bola in QA — Автоматизация
Evgenii B
Как минимум, историю трендов по каждому из параметризированных тестов
может не стоит это делать в тестрейле?
понятно, автор не спрашивает - где лучше вести историю, а задает конкретный вопрос.
но все же
источник

B

Bola in QA — Автоматизация
X-rain
Это тоже отмели, так как нам еще и репорты нужны с тест рейла
Тут суть тест рейла скорее в том чтобы репорты по авто и мануальным тестам делать вместе (аллюр, экстент репортс и прочее отмел менджмент, т к репорты хотят видеть в одном месте и по мануальным и по авто тестам)
а хотя тут ответ ) проморгал
источник

EB

Evgenii B in QA — Автоматизация
Bola
может не стоит это делать в тестрейле?
понятно, автор не спрашивает - где лучше вести историю, а задает конкретный вопрос.
но все же
Представь что у тебя есть тест менеджмент тул, который пока не будет зелёным на выбранных в релиз тест планах, отмашки на релиз не будет. Я могу понять желание в одном месте видеть для QA все данные для принятия решения. А вопрос интеграции это вопрос насколько это будет страшненько . Но все равно имхо это лучше, чем два тула иметь
источник

B

Bola in QA — Автоматизация
мне не ясно, как будут генерироваться тест кейсы
завтра тесты поменяют, и вместо 10 вариантов станет 8, а тест кейсы уже созданы 10 ранее предыдущим прогоном
или завтра вместо 10 станет 200 штук. а потом снова 10
нужно жестко синхронизироваться - удалять несуществующие тест кейсы
источник

B

Bola in QA — Автоматизация
или же  в тест ран добавлять те 10 из 200, которые запускались. но мусора будет много в любом случае
источник

BO

Boris Osyanin in QA — Автоматизация
Bola
или же  в тест ран добавлять те 10 из 200, которые запускались. но мусора будет много в любом случае
и здесь ты
источник

X

X-rain in QA — Автоматизация
Bola
может не стоит это делать в тестрейле?
понятно, автор не спрашивает - где лучше вести историю, а задает конкретный вопрос.
но все же
Да, не спорю, тест рейл не лучший вариант, но на текущий момент переубедить что есть более подходящие тулы пока не удалось)
источник

X

X-rain in QA — Автоматизация
Bola
мне не ясно, как будут генерироваться тест кейсы
завтра тесты поменяют, и вместо 10 вариантов станет 8, а тест кейсы уже созданы 10 ранее предыдущим прогоном
или завтра вместо 10 станет 200 штук. а потом снова 10
нужно жестко синхронизироваться - удалять несуществующие тест кейсы
В нашем случае пока выход руками в Тест Рейле создавать тест кейсы и руками в тест ран добавлять
источник

B

Bola in QA — Автоматизация
звучит адово ( можно сказать - автоматизации нет
источник

EB

Evgenii B in QA — Автоматизация
Bola
мне не ясно, как будут генерироваться тест кейсы
завтра тесты поменяют, и вместо 10 вариантов станет 8, а тест кейсы уже созданы 10 ранее предыдущим прогоном
или завтра вместо 10 станет 200 штук. а потом снова 10
нужно жестко синхронизироваться - удалять несуществующие тест кейсы
Реализовать prune всех тест кейсов группы, которые не были созданы в текущем прогоне :) не вижу проблем с актуализацией данных, если ты знаешь, как их актуализировать
источник

X

X-rain in QA — Автоматизация
Bola
звучит адово ( можно сказать - автоматизации нет
Это мы еще смогли убедить, что автоматизаторы не должны писать мануальные кейсы, изначально была шикарная (sarcasm.jpg) идея что автоматизаторы на функционал который автотестами покрывать будут, пропишут и мануальные сценарии
источник

X

X-rain in QA — Автоматизация
Ну чтоб до кучи уже :D
источник