Size: a a a

QA — Автоматизация

2020 September 09

ДВ

Диана Верикова (Кудр... in QA — Автоматизация
Модели? В роботе? О. о
Как это загуглить, хочу такое посмотреть!
Для пабота нужно было поднимать несколько инстансов ремоут либ или учить одну либу различать сессии. Сделали, но прям такой монстрик получился, что в Дженкинс впихиваться нормально отказался, еще и там извращений отхватили х)
А, еще была проблема, что перед запуском робот получает от ремут либ все киворды, для каждого киворда зачем-то делает дополнительный запрос параметров (или документации? Не помню), отчего при 2к кивордах задержка между запуском и началом тестов минут 5, даже если кейс один, пришлось отпиливать ручками вторую часть запроса от робота х)
А пока роботовская часть команды извращалась, имея запуск 200 кейсов на полчаса-45 минут, в зависимости от сетки, новенький написал примерно те же по сложности кейсы, и у него прогон из коробки без танцев шел 5 минут!
А еще для ремоут либ идея не подсказывает киворды, грусть печаль(
источник

LY

Lev Yarushin in QA — Автоматизация
@yuliya_similar изучите правила пожалуйста. Суток на изучение вам хватит
источник

LY

Lev Yarushin in QA — Автоматизация
Диана Верикова (Кудрявцева)
Модели? В роботе? О. о
Как это загуглить, хочу такое посмотреть!
Для пабота нужно было поднимать несколько инстансов ремоут либ или учить одну либу различать сессии. Сделали, но прям такой монстрик получился, что в Дженкинс впихиваться нормально отказался, еще и там извращений отхватили х)
А, еще была проблема, что перед запуском робот получает от ремут либ все киворды, для каждого киворда зачем-то делает дополнительный запрос параметров (или документации? Не помню), отчего при 2к кивордах задержка между запуском и началом тестов минут 5, даже если кейс один, пришлось отпиливать ручками вторую часть запроса от робота х)
А пока роботовская часть команды извращалась, имея запуск 200 кейсов на полчаса-45 минут, в зависимости от сетки, новенький написал примерно те же по сложности кейсы, и у него прогон из коробки без танцев шел 5 минут!
А еще для ремоут либ идея не подсказывает киворды, грусть печаль(
Лично я тестовые данные и конфигурацию храню в yaml, который нативно импортируется.
По поводу ваших неприятностей с Remote Lib - это закономерно, она вообще не рекомендуется к использованию, только в крайних случаях. Всё что у вас сделано при помощи неё, скорее всего можно было сделать на чистом Python. Предположу, что вы что-то дёргали в Java, для получения тестовых данных. Естественно тестам на Java было проще, но это не проблема RF, это распространённая проблема когда тесты на другом ЯП.
источник

EY

Evgeniy Yakovlev in QA — Автоматизация
Sergei
м-да ну и дичь этот робот-фреймворк, прям как кукумбер, вот не живется людям просто код писать
и то и другое отличные блюда. но как говорится надо уметь готовить.
источник

S

Sergei in QA — Автоматизация
Evgeniy Yakovlev
и то и другое отличные блюда. но как говорится надо уметь готовить.
:)
источник

ДВ

Диана Верикова (Кудр... in QA — Автоматизация
Lev Yarushin
Лично я тестовые данные и конфигурацию храню в yaml, который нативно импортируется.
По поводу ваших неприятностей с Remote Lib - это закономерно, она вообще не рекомендуется к использованию, только в крайних случаях. Всё что у вас сделано при помощи неё, скорее всего можно было сделать на чистом Python. Предположу, что вы что-то дёргали в Java, для получения тестовых данных. Естественно тестам на Java было проще, но это не проблема RF, это распространённая проблема когда тесты на другом ЯП.
Робот великолепен для своих задач, я всего лишь уточнила, какие проблемы привели к уползанию на чистую джаву для ui)
к сожалению, питонячих инструментов при активном использовании селенида мало, чтобы оставаться на роботе без джавы, так что выбор оказался сложным, но очевидным)
источник
2020 September 10

DS

Dmitriy Sorokin in QA — Автоматизация
Ребята, вопрос на миллиард:

Скажем, я запускаю со своего компа 10 тестов - они все успешно отрабатывают,
запускаю на CI из гитлаба - 5 из 10 упали с какими-нибудь таймаутами

И проблема явно не в сайте, который тестируется, а в инфраструктуре запуска тестов на CI.

Вопрос в том, возможно ли это как-то удобно отлаживать?
Потому что это жесть, когда на CI запускается - ты не видишь перед собой браузер в процессе теста, не видишь, что там происходит и где возможно повалился тест, каждое изменение нужно коммитать и пушить.
источник

DS

Dmitriy Sorokin in QA — Автоматизация
Есть ли что-то, что может облегчить страдания?
источник

S

Sergei in QA — Автоматизация
валокордин и смирение :)
источник

VB

Vlad Bak in QA — Автоматизация
CI придумали, чтобы QAA страдали
источник

S

Sergei in QA — Автоматизация
чтобы они не скучали на работе :)
источник

VB

Vlad Bak in QA — Автоматизация
Dmitriy Sorokin
Есть ли что-то, что может облегчить страдания?
выставь таймауты побольше, возможно дело то и не в ожиданиях
источник

ТФ

Татьяна Федотова... in QA — Автоматизация
скриншоты снимай
источник

S

Sergei in QA — Автоматизация
тогда сразу видео записывать стоит
источник

TN

Timur Nurlygayanov in QA — Автоматизация
Dmitriy Sorokin
Ребята, вопрос на миллиард:

Скажем, я запускаю со своего компа 10 тестов - они все успешно отрабатывают,
запускаю на CI из гитлаба - 5 из 10 упали с какими-нибудь таймаутами

И проблема явно не в сайте, который тестируется, а в инфраструктуре запуска тестов на CI.

Вопрос в том, возможно ли это как-то удобно отлаживать?
Потому что это жесть, когда на CI запускается - ты не видишь перед собой браузер в процессе теста, не видишь, что там происходит и где возможно повалился тест, каждое изменение нужно коммитать и пушить.
1) добавьте логи в тесты которые падают, найдите операции, которые отнимают много времени (либо старт браузера, либо ожидание элементов)   2) запустите atop/htop на машинке CI когда там проходят тесты, посмотрите есть ли какие-то ресурсы, которые задействованы на 100%, увеличьте их (например, память или число ядер)   3) добавьте создание скриншота в случае если тест не находит элемент или не дожидается его - и посмотрите что там на странице происходило в этот момент
источник

S

Sergei in QA — Автоматизация
как же страдают те, кто просто тестирует код, без браузера и прочего ui, даже посмотреть не на что :)
источник

ON

Oleg Nazarov in QA — Автоматизация
Dmitriy Sorokin
Ребята, вопрос на миллиард:

Скажем, я запускаю со своего компа 10 тестов - они все успешно отрабатывают,
запускаю на CI из гитлаба - 5 из 10 упали с какими-нибудь таймаутами

И проблема явно не в сайте, который тестируется, а в инфраструктуре запуска тестов на CI.

Вопрос в том, возможно ли это как-то удобно отлаживать?
Потому что это жесть, когда на CI запускается - ты не видишь перед собой браузер в процессе теста, не видишь, что там происходит и где возможно повалился тест, каждое изменение нужно коммитать и пушить.
логгирование наше всё, программисты же как-то это разрабатывают без юай))
источник

DS

Dmitriy Sorokin in QA — Автоматизация
Vlad Bak
выставь таймауты побольше, возможно дело то и не в ожиданиях
Пытался, не помогло
источник

DS

Dmitriy Sorokin in QA — Автоматизация
Большое спасибо за советы)
источник

VB

Vlad Bak in QA — Автоматизация
Dmitriy Sorokin
Пытался, не помогло
startMaximized отключен? windows-size зафиксирован?
источник