*тут был кривой пример* Вообще, имеет смысл начать с выяснения алгоритмов, которые используются в вашем парсере, затем гуглить примеры реализаций  и хотя бы юнит тестов для этой реализации.

А кто-то работая тестером пишет пайплайны для проекта?

Типа такого, качество покрытия этого конкретного примера под вопросом .https://github.com/html5lib/html5lib-tests

Почему-то этот вопрос задают чуть ли не каждую неделю. Кто-то наверняка пишет.

Ну просто это становится судя по всему нормой требовать от тестеров написание yaml файлов. Просто интересно, насколько это норма а других фирмах

нет, это не норма

наверно, в ряде однотипных фирм, может норма, но не повсеместное

Так а в чем проблема на том jenkins сделать job

Вот я тоже не вижу особой проблемы, особенно если дело касается тестовой инфраструктуры, где уж точно полезно иметь возможность подкрутить деплой по мере необходимости.

Как минимум + для саморазвития

Для регрессионных джоб пишем на groovy (автоматизаторы)

Ну одно дело прикрутить джоб, а другое полностью проект описать. А там уже начинается. Кубик, воркеры, чтобы у каждого свой стейдж был. А проекты ещё на разных стеках..

Полноценный такой девопс, а не qa

А, хотя вот Kubernetes у нас нет, я имел ввиду чисто Jenkins-пайплайны
И поддерживаем только регрессионную часть. Для поддержания сборок и деплоев есть девопсы

В моём случаи ещё вот в чем проблема. Сейчас приводим все проекты к одному стеку и архитектуре потихоньку, но много проектов в разных системах. Ci в дженкенсе, в битбакете и в гитлабе. Думают отказываться от гитлаба и переехать на платный нитхаб. И вот тут тоже есть подводные камни. Синтаксис и какие то особенности  отличается. Например. В битбакете настроил развертывание грида с браузера спосощью сервисов. А вот в гитлабе не раьотает так. Через сервисы только через стандаралон работает. Если грид пробовать, то браузеры не клнектятся к хабу. Решил костылями через докер компом. Если переходить на гитхаб, то там ещё не завезли артифакты, как результаты выгружать. Кто нить к стати смог сетку грид нормально поднять в гитлабе?

А чем плох вариант с докерами и запуском их из ci ямла?

Вы про мой вариант с докер компос? Или что то другое имеете ввиду? Если про мой, то это костыль. Например он висит бесконечно, после выполнение надо его отдельной командой закрывать. Ошибку, если она была также отлавливать отдельно. Так же, ваш шаг будет запускаться в окружении образа докер компосе, а значит вы не сможете в afterScript сгенирить отчёты, потому что для отчетов аллюра, например, нужна джава. По этому мне пришлось собирать все логи в отдельный файл, проверять их баш скриптом в следующем шаге на ошибку, и уже в следующем шаге где окружение ноды и джавы, генерировать отчёт, чтобы выгрузить на сервер с энджинксом. Чтобы отчёт открывался по ссылке для каждого пайплайна. Если настраивать сервисами, таких манипуляций нет.

Все верно Для хаба свой контейнер Для браузеров свои Для отчётов свой Один процесс один контейнер А для удаления контейнеров docker-compose down  - - remove-orphans Не совсем понял зачем понадобилось отдельно проверять логи башем

Шаг всегда завершается с выходом 0. Даже если тесты завершились с exit 1.