далее, я сделал то что Слава реализовал через мавен. из дженкинса стартует тест с любыми параметрами которые задаются в шапке. вот пример - время теста. туда же можно добавить и количество юзеров и рампап и всё такое. делается тупо - добавляем внизу джобы sh команду куда передаем это как параметры, в самом jmeter они будут доступны по типу пропертей из любого места - вписываем в нужные поля. чтобы не мучаться с этим каждый раз я один раз создал шаблон jmeter скрипта, где параметризация тредгрупп хостов и путей к файлам уже сделана - остается туда накидать скрипт и всё.

текущий тест всегда можно посмотреть в двух вариантах. консоль и более детально графана, консолька по умолчанию пишется в лог дженкинса, а графана настраивается минут 5 и разворачивается столько же с инфлюксом.

сами логи, дженкинс создает папочку у себя в воркспейсе под каждый тест и хранит там его результаты.

есть тренды по запросам

смотрит вроде по последнему, графики убогие, но таблицы удобные

детализацию по каждому запросу в онлайне все заинтерсованные могут посмотреть в графане, где я сделал автогенерацию дашборда под проект если его нет, они все абсолютно шаблонные, просто когда проектов много - там каша в выпадающих менюшках переменных и натравливаю их в разные сорсы инфлюкса, которые предварительно создает под себя backend listener. то есть у каждого проекта там свой, условно, тег

вопрос тоже решается одной сквозной переменной

из того что еще доделал - это из консоли можно заставить jmeter сгенерировать html отчет, который если сгенерировать в папочку с дженкинсом в текущую джобу, то из вьюки джобы можно его будет открыть в пару кликов.
+ прикрутил автогенератор отчетов, где вырезаются из графаны необходимые графики и в перспективе пихаются в какой нибудь конфлюенс, вордец и тд для отчета.

туда остается написать пару выводов и рекомендаций, внести ошибки и готово

@jigarkhwar @smirnovqa

Ну мы такое уже проходили

Пользовались аналогичным плагином для Гатлинга

ну это, конечно, не так параметризировано и волшебно как у вас, но это все готовые решения, интегрируются довольно просто, как и разворачиваются. в финале можно в докер похоронить и с собой везде иметь. имхо, но такой глубокий анализ для регресс тестов он нужен даленко не всегда. для отчетов и ухода от экселей этого плагина за глаза, а в ситуации когда реально нужен глубокий анализ - нужно реально потратит немного времени, чтобы сравнить тесты по нужным характеристикам, для редких случаев, думаю это вполне норм.)

он и в гатлинге и тут кривоват, есть какой-то истинный путь по его настройке, я его уже нашел. как доделаю эту интеграцию полностью напишу на хабрик какой-нибудь, чтобы белый люд не мучался также

Да согласен, у нас есть просто цель
1) сделать все в одном месте
2) отдать регрессы в фт/ат

Поэтому мы почесали разные решения, посмотрели платные версии и в первом приближении сделали такое

а в одном месте - это где? запускаете то вы тесты тоже не из графаны)

или анализ в одном месте?

Для начала анализ и репорт автоматизировать хотим

На запуск тоже есть идеи