Size: a a a

QA — Load & Performance

2020 December 08

S

Svetlana in QA — Load & Performance
спасибо, буду верить суммари
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Svetlana
обратила внимание, что в summary Report вместо одного запроса "запрос на формирование куков" отображается еще и с _0 и _1 - по факту если смотреть в дереве то этот запрос действительно вызывается два раза, один с set cookies второй уже с установленным значением в куках. Вероятно считает это как за 3 запроса
Может причина в Embedded ресурсах и подзапросах. Их количество влияет на метрики в jp@gc - Transactions per Second. Но их появление не учитыается в таймере, что нормально.
источник

M

Max in QA — Load & Performance
Установил интервал отправки данных в InfluxDB в 1 секунду
Перцентили в Jmeter и в Grafana все равно довольно сильно разные
Для примера 95th
В Grafana 793 ms, а в Jmeter 1361 ms

У кого какой разброс в перцентилях ?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
В JMeter перцентили за весь тест и логика их вычисления - туманна. Если вы про Summary Report
источник

A

Artyom in QA — Load & Performance
Max
Установил интервал отправки данных в InfluxDB в 1 секунду
Перцентили в Jmeter и в Grafana все равно довольно сильно разные
Для примера 95th
В Grafana 793 ms, а в Jmeter 1361 ms

У кого какой разброс в перцентилях ?
если писать listener-ом от Novatech и, сравнивая агрегации инфлюкса / aggregate report - всё бьется
в html репорте процентили считаются другим math пакетом, нежели чем в самом jmeter

возможно вы стали жертвой агрегации отправки “раз в секунду"
источник

KY

Kirill Yurkov in QA — Load & Performance
Max
Установил интервал отправки данных в InfluxDB в 1 секунду
Перцентили в Jmeter и в Grafana все равно довольно сильно разные
Для примера 95th
В Grafana 793 ms, а в Jmeter 1361 ms

У кого какой разброс в перцентилях ?
на самом деле логика внутри jmeter - не очень прозрачная, судя по коду, там есть какая-то очередь, которая постоянно содержит результаты предыдущей агрегации и сравнивает их с элементами внутри нее, эта очередь ограничена помимо количества элементов еще и во времени (не точно) - именно так получаются данные об относительных значениях (персентилях и средних): они агрегируются внутри батча очереди и/или сопоставляются с предыдущими показателями. а вот с отправкой в инфлакс всё существенно проще: jmeter на определенном этапе формирования описанной выше очереди после агрегации кладет её в инфлакс, плюс туда пишутся события об ошибках и тд. по идее на этом этапе должны лежать данные 1к1 с теми на основе чего считает метрики сам jmeter, кроме того что длина по времени очереди внутри jmeter и период отправки в influx разные
далее вся разница начинается в графане, а именно в интервале группировки, если он совпадает с интервалом записи в influxdb - то всё опять же должно быть 1 к 1 (в случае если у jmeter и grafana совпадают начало и конец этих интервалов), а далее есть еще подлый агрегатор mean в графане, который усредняет выводимые значения и по идее он должен это делает не чаще чем заданный интервал, но добросовестность его работы я не знаю. тут проблема в том, что от группировки по времени и от mean отказаться просто так. советую посмотреть как будет меняться метрика если вы примените функцию max и min к тому же интервалу
источник

KY

Kirill Yurkov in QA — Load & Performance
так что скорее всего данные проходят через одно дополнительное усреднение
источник

KY

Kirill Yurkov in QA — Load & Performance
да правильного вывода в графану
источник

KY

Kirill Yurkov in QA — Load & Performance
скорее всего должно помочь взятие голых данных из influx путем использования агрегаторов last и first, с помощью них мы можем взять первый или последний элемент из пула в котором 1 элемент (при правильнйо группировке)
источник

KY

Kirill Yurkov in QA — Load & Performance
короче, просто замени mean на last
источник

KY

Kirill Yurkov in QA — Load & Performance
или first
источник

KY

Kirill Yurkov in QA — Load & Performance
должно стать классно
источник

KY

Kirill Yurkov in QA — Load & Performance
стало уже?
источник

KY

Kirill Yurkov in QA — Load & Performance
Artyom
если писать listener-ом от Novatech и, сравнивая агрегации инфлюкса / aggregate report - всё бьется
в html репорте процентили считаются другим math пакетом, нежели чем в самом jmeter

возможно вы стали жертвой агрегации отправки “раз в секунду"
вот этот листенер не советую использовать, очень много граблей словил на нем. данные пишутся без агрегации, у меня после месяца тестов начало ужасно лагать, а потом вообще по таймауту отваливалось всё
источник

СФ

Степа Фомичев... in QA — Load & Performance
Kirill Yurkov
вот этот листенер не советую использовать, очень много граблей словил на нем. данные пишутся без агрегации, у меня после месяца тестов начало ужасно лагать, а потом вообще по таймауту отваливалось всё
Так в этом же и прикол сырых данных, нет?
источник

KY

Kirill Yurkov in QA — Load & Performance
Степа Фомичев
Так в этом же и прикол сырых данных, нет?
в моем понимании сырые данные можно хорошо писать а можно плохо)
источник

KY

Kirill Yurkov in QA — Load & Performance
данный листенер только для отладки годится, имхо - это как из гуя пускать)
источник

СФ

Степа Фомичев... in QA — Load & Performance
Ну если бы у меня была большая машина для инфлакса я бы предпочёл хранить не агрегированные данные
источник

A

Artyom in QA — Load & Performance
Kirill Yurkov
вот этот листенер не советую использовать, очень много граблей словил на нем. данные пишутся без агрегации, у меня после месяца тестов начало ужасно лагать, а потом вообще по таймауту отваливалось всё
каждому своё. listener пишет вполне себе по best практикам influx-а
источник

СФ

Степа Фомичев... in QA — Load & Performance
То что я храню агрегированные это, скорее, вынужденная необходимость
источник