Size: a a a

QA — Load & Performance

2020 January 10

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Ranorex
А стоп, нужно анализировать response time distribution
ну какая разница, ассерт тогда делаешь и всё видно будет, вышел за этот предел или нет
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Applicable to response time
stdDev: perform the assertion on the standard deviation of the metric.
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Timur Mirzoev
а был ли у кого опыт форканья гатлинга с целью доработки возможностей по репортам?
иными словами - дописать туда возможность лить данные на свой собственный репортный сервер?
А что вам надо?
В gatling статистика неплохая
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
.assertions(global.responseTime.stdDev.lt(20000))
источник

TM

Timur Mirzoev in QA — Load & Performance
Slavik
Но у нас нагрузки бьІли маленькие, до 50 rps и хватало 1 logstash + 1 elasticsearch без никаких оптимизаций ( только heap для elasticsearch подняли до 4 GB)
у нас сейчас ~5000 рпс и это только начало)
источник

TM

Timur Mirzoev in QA — Load & Performance
Вячеслав Смирнов
А что вам надо?
В gatling статистика неплохая
хочется иметь возможность хранить статистику на сервере и автоматически сравнивать результаты двух разных прогонов, один из которых может быть "эталонным"/"историческим" если вкратце
источник

S

Slavik in QA — Load & Performance
Timur Mirzoev
у нас сейчас ~5000 рпс и это только начало)
😱
БьІло бьІ интересно узнать сколько нужно будет logstash инстанцов для такой нагрузки 🤓
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Slavik
Но у нас нагрузки бьІли маленькие, до 50 rps и хватало 1 logstash + 1 elasticsearch без никаких оптимизаций ( только heap для elasticsearch подняли до 4 GB)
вы в логстеше метрики храните?
источник

S

Slavik in QA — Load & Performance
Ιωάννης Τσεκούρι
вы в логстеше метрики храните?
Elasticsearch бьІл, logstash же только обрабатьІвает данньІе на ходу и складьІвает куда нужно
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Slavik
Elasticsearch бьІл, logstash же только обрабатьІвает данньІе на ходу и складьІвает куда нужно
вроде елк не очень подходить под таймсириес данные
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Timur Mirzoev
хочется иметь возможность хранить статистику на сервере и автоматически сравнивать результаты двух разных прогонов, один из которых может быть "эталонным"/"историческим" если вкратце
Работаю над этим сейчас. Форкать не пришлось.

Всё, что сделал. Модифицировал параметр

data.graphite.RootPathPrefix

Его значение по умолчанию gatling

Сейчас сделал

gatlingV2.{run}.{hostname}

Сделал другие паттерны для graphite. И заморочился с influxdb запросами
источник

S

Slavik in QA — Load & Performance
Ιωάννης Τσεκούρι
вроде елк не очень подходить под таймсириес данные
Не очень. Если смотреть там данньІе за пару месяцов. Если смотреть данньІе за пару дней, то вполне норм. У нас бьІл endurance на дня два + около 10 рпс -> grafana+elastic справлялись на ура
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Slavik
Не очень. Если смотреть там данньІе за пару месяцов. Если смотреть данньІе за пару дней, то вполне норм. У нас бьІл endurance на дня два + около 10 рпс -> grafana+elastic справлялись на ура
10 рпс это оч маленькая нагрузка
источник

S

Slavik in QA — Load & Performance
Зато каждьІй результат запроса - отдельная запис,у нас хранилась даже id сессии и можна бьІло посмотреть в каждой сессии запросьІ. Но понятно, что если большое количество данньІх то будет тупить из коробки..
источник

TM

Timur Mirzoev in QA — Load & Performance
Вячеслав Смирнов
Работаю над этим сейчас. Форкать не пришлось.

Всё, что сделал. Модифицировал параметр

data.graphite.RootPathPrefix

Его значение по умолчанию gatling

Сейчас сделал

gatlingV2.{run}.{hostname}

Сделал другие паттерны для graphite. И заморочился с influxdb запросами
а, то есть меняете префиксы для разных репортов?
я так разделяю метрики графитные для разных окружений, а параметр в конфигу передаю снаружи

а смотрите в графане все так же?
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Timur Mirzoev
а, то есть меняете префиксы для разных репортов?
я так разделяю метрики графитные для разных окружений, а параметр в конфигу передаю снаружи

а смотрите в графане все так же?
В grafana смотрю, да.
источник

AV

Andrey Vasiliev in QA — Load & Performance
колеги подскажие простой способ остановить обстрел если скажем 2% фэйловых запросов начало приходить от сервиса и процентаж начинает расти, скажем так сценарий положил сервис и надо остановится
источник

AV

Andrey Vasiliev in QA — Load & Performance
в гатлинге, как реализовать?
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
никак без особого шаманства
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Чтобы метрики для двух запусков можно было сравнить, надо выбрать из influxdb просто число. Без времени.

Есть такой трюк - получить значение для времени 0.

Если

Select mean(mean) from gatling where simulation=~/$simulation/ and run=~/run1/ group by somulation, run


Выдает одно число с меткой времени - 10 января

То чтобы убрать время, можно сделать min - max + max (это хак/трюк influxb):


Select max(v)+min(v)-max(v) as "mean" from (
Select mean(mean) as "v" from gatling where simulation=~/$simulation/ and run=~/run1/ group by somulation, run)
источник