ЕЕ
привет, как вы сравниваете результаты между прогонами тестов в jmeter для поиска деградации метода? Есть запуск тестов на teamcity каждую ночь. Выход за дозволенные рамки по ТЗ можно проверять просто ассертом и сообщать об этом после окончания прогона. А как сравниваете разницу, что какой-то метод замедлился/деградировал? Сравнивать время единичного прогона казино. Если сравнивать разницу по среднему времени отклика на N запусков и проверять отклонение более 5%, например, то всё равно могут быть ложные значения на мой взгляд, например, 174ms и 186ms. Может стоит использовать % или N просто больше или сравнивать 90-й персенталь вместо среднего, в какой момент поднимать флаг?
Тоже гоняю тесты через teamcity, в плагине Performance Metrics Calculation задаю граничные значения для всех запросов через файл reference value по 95/90/75/50 перцентилям
