Size: a a a

Allure Framework

2021 July 08

cm

cheshi mantu in Allure Framework
Gitlab = Circle CI
источник

AE

Artem Eroshenko in Allure Framework
сто процентов, спасибо)
источник

cm

cheshi mantu in Allure Framework
да не проблема, просто при экстремальных значениях t gitlab -> Circe CI, я думаю, что все это понимают
источник

c

cldd in Allure Framework
Позволю спосить еще раз, недавно обсуждалось что-то подобное. Гоняем автотесты на связке Gitlab - Pytest. В Аллюре создан тест-план по тегам в тест-кейсах. Что нужно сделать для того, чтобы при запуске тест-плана запускались тесты только из него, а не все подряд?
источник

AE

Artem Eroshenko in Allure Framework
Нужно сделать две вещи:
1. Объявить вот эту переменную. На нее реагирует фильтр: https://gitlab.com/eroshenkoam/allure-gitlab/-/blob/master/.gitlab-ci.yml#L7
2. Скачать тест план в файл, на который указывает эта переменная: https://gitlab.com/eroshenkoam/allure-gitlab/-/blob/master/.gitlab-ci.yml#L17

Кроме того, можно получать тесты в реальном времени.
Для этого нужно воспользоваться командой watch.
Для этого нужно:
1. Объявить переменную с директорией с результатами тестов: https://gitlab.com/eroshenkoam/allure-gitlab/-/blob/master/.gitlab-ci.yml#L8
2. Запустить тесты командой allurectl watch — <здесь команда, который вы запускали тесты раньше>. Грубо говоря перед командой запуска тестов нужно написать allurectl watch —
3. Да, оно так будет работать. Да, даже для windows. Да, результаты в реальном времени)
источник

AE

Artem Eroshenko in Allure Framework
@clddd получилось?
источник

c

cldd in Allure Framework
в процессе
пока не очень, нужно еще поработать напильником)
у нас тесты запускаются в контейнере, поэтому, видимо нужно уже в контейнер allurectl подтягивать и потом стартовать тесты с allurectl watch —

ну и с путем к /testplan.json тоже разобраться бы
завтра с утра продолжу
источник

c

cldd in Allure Framework
но когда заработает - будет шикарно, спасибо за ответы)
источник
2021 July 09

PP

Pavel Pugach in Allure Framework
У нас тоже тесты запускаются в контейнере. Сделано по инструкции от @eroshenkoam
Запускаются как положено - в аллюре появляется синяя(?) полоска джобы с нужным количеством, на гитлабе видно что тесты выполняются и именно те, которые указаны.
Но с гитлаба не прилетает фидбек - полоска джобы так и остается в первоначальном виде, пока не остановить. Тогда она становится розовой (unknown state).

Вариант с классическим аплоадом результатов из гитлаба работает как ожидается. Тесты+результаты прилетают.
https://docs.qameta.io/allure-testops/integration/import-gitlab/
источник

AE

Artem Eroshenko in Allure Framework
Привет! Я правильно понимаю, что гитлаб выполняется на агенте и внутри него стартует ещё один докер с тестами?
источник

PP

Pavel Pugach in Allure Framework
да, так
источник

AE

Artem Eroshenko in Allure Framework
Я сделаю инструкцию на выходных, окей?
источник

PP

Pavel Pugach in Allure Framework
Спасибо!
источник

c

cldd in Allure Framework
в dockerfile прописано так:
RUN wget https://github.com/allure-framework/allurectl/releases/download/1.19.3/allurectl_linux_386 -O /usr/bin/allurectl && chmod +x /usr/bin/allurectl && allurectl job-run start

в docker-compose:
ui-autotest:
 build: .
 links:
   - selenoid
 networks:
   selenoid: null
 volumes:
   - ./:/code


в gitlab-ci:
docker-compose -p $CI_JOB_ID run ui-autotest allurectl watch -- pytest <options>

при сборке скачивается allurectl и потом билд падает с ошибкой:
Error: provide endpoint using --endpoint flagThe command '/bin/sh -c wget https://github.com/allure-framework/allurectl/releases/download/1.19.3/allurectl_linux_386 -O /usr/bin/allurectl && chmod +x /usr/bin/allurectl && allurectl job-run start' returned a non-zero code: 1
Service 'ui-autotest' failed to build : Build failed

 что неправильно делаем?
источник

M

Maxim in Allure Framework
Мы делаем так и все работает:

RUN wget https://github.com/allure-framework/allurectl/releases/download/1.19.3/allurectl_linux_amd64 -O /usr/bin/allurectl
RUN chmod +x /usr/bin/allurectl
источник

M

Maxim in Allure Framework
Какой базовый образ?
источник

M

Maxim in Allure Framework
И зачем вы запускаете job start при сборке?
источник

АР

Артем Рябков... in Allure Framework
https://docs.qameta.io/allure-testops/integration/import-gitlab/
Потому что так написано в инструкции, скорее всего)
источник

M

Maxim in Allure Framework
По инструкции как раз установка allurectl  в before script, а allurectl job-start в уже на этапе script

Ты можешь сделать два варианта:

1. Сделать отдельный образ для запуска тестов, на основе python 3.x.x-buster, и прописать установку в нем
2. Вынусти установку allurectl в before script как в инструкции

Так же, судя по твоем сообщению ты стартуешь композ с селеноидом и еще хочешь запихнуть сервис с тестами, это не очень ок. Вынеси селеноид отдельно от тестов
источник

M

Maxim in Allure Framework
Ты можешь либо держать отдельно поднятый селеноид, либо если у тебя сложности с инфраструктурой (не хватает мощности железа) старт селеноида вынести в джобу/сервис и после запускать джобы с тестами
источник