сделай ты уже так чтобы твой make не возвращал 1 (хоть я и до сих пор не понимаю в чем смысл)

make run-tests MAKE_ARGS="pytest tests/frontend/remastered/authentication/test_sign_in.py --env=alpha --token=alpha --headless --timeout=15 --db=alpha"

Очень тяжело в команду в Дженкинс && exit 0 прописать к вызову тестов

|| true только)

&& не отработает если первая вернула не 0

Ну или так, но идея на поверхности. не занимался таким сам, вижу в таком подходе вред

Попробую обьяснить ещё раз)
Есть джоба regression-night-suite в ней идёт запуск всех автотестов которые есть (8 проектов), суть заключается в том, что я просто хочу ночью это гнать и получать полный отчёт о прогоне по всем проектам.

Для дневного времени у меня отдельные джобы с отдельными сьютами типа, smoke, negative.

И вот с ночной джобой проблема пока что в том, что если тесты упали в какой из сьют, то глушит всю джобу, а мне не нужно чтобы она остонавливало, мне нужно прийти с утра и проверить, тесты упали из-за того что флаки или же у нас кусок функциональности отвалился

тогда || true в каждую команду ¯\_(ツ)_/¯

Воо, такой вариант отработал... Но теперь другой момент, такое ощущение что оно выглядит костыльно 😄

тебе нужно нагуглить что такое fail fast, как его отключить для дженкинса.

в интернете куча примеров как через аддоны, так и с использованием DSL языка если ты используешь Infrastructure as a code и у тебя есть Jenkinsfile

еще полезны строчки для гуглежа: continue on failure jenkins

Я решил не парится с Jenkins file) и просто делаю pipeline он следит за коммитами в репе и потом по мержу, запускает джобу с тестами

Ну пожалуй еще погуглю о том что вы выше написали) спасибо за помощь

Ещё такой вопрос небольшой, можно каким-то образом в аллюре менеджить какие новые тесты были добавлены?

как менеджить?
какой критерий "новизны"?

Допустим дата, отдельно выделять что за текущую дату появились новые тесты, после наступления новой даты, предыдущую кидать в общий отчёт и потом по новой выводить какие появились за новую, идея может бредовая конечно) но люди хотят видеть какие тесты добавились, и чтобы не вести это вручную, подумал может есть вариант и это автоматизировать выводом в аллюр

Добрый день господа. Помню много лет назад был такой BrowserMob Proxy, чтобы ловить трафик страницы и аттачить в Allure report. Кто нибудь подскажет это еще работает? Вижу что прокси уже давно не мейнтейнится, может тут люди есть которые до сих пор используют.

Использую BrowserUp Proxy - ответвление от browsermob https://github.com/browserup/browserup-proxy

https://www.youtube.com/watch?v=UhK6QwWdYX0
Автоматизация с нуля: Java + Cucumber + Gitlab CI/CD + Allure.
С нуля фреймворк для тестирования API используя Java + Cucumber + Gitlab CI + Allure. Простая архитектура и  несколько сценариев, и так же генерацию отчетов.

Вот так, сразу с нуля и в кукумбер...

Ну а что там.. Гивен вен зен