Size: a a a

QA — Load & Performance

2020 April 23

TL

Timur Layshev in QA — Load & Performance
Вячеслав Смирнов
Или логировать время с помощью asynclog
Я когда столкнулся - тоже про такое думал, типа отдельного exec-а или action-а, который будет в influxdb напрямую слать, может? с опцией аггрегацией. Мне казалось, что это поприятней будет, чем парсер, потому что в графану доставка будет более непрерывной.
источник

TL

Timur Layshev in QA — Load & Performance
сам по себе этот случай довольно вырожденный, но просто уже не в первый раз сталкиваюсь. Понятно, что можно посчитать все уже после прогона, но это костыль какой-то. Можно Ланделю issue завести
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Вариант - отправка времени отклика в InfluxDB HTTP-запросами рабочий. Видел такой в действии. У коллег из СберТеха. Когда HP LoadRunner ещё был HP и не имел интеграции с InfluxDB они статистику отправляли в него HTTP-запросами, сделали своё API

Чем мне не нравится такое решение. Накладными расходами большими. InfluxDB, медленный, всё-таки. Нельзя в него отправлять запросов много. Даже батчами.

Подробностей, как было у СберТеха не знаю. Качественно ли там сделано. Но читал, как такое сделано в ЦЕРН-е. Они сделали иерархию:

Метрики принимают 100 telegraf-ов, которые могут быть InfluxDB-прокси
Они их аргерируют, препроцессингом,
Отправляют в 20 telegraf-ов, которые аггрегируют, копят батчи
Отправляют в 4 telegraf-а
...
Отправляют в InfluxDB
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
А если в сырую часто слать, то InfluxDB слабоват будет, метрики начнёт терять, и сам тест зависнет ожидая пока они будут приняты.
Он же синхронный, на каждый запрос должен придти ответ.

Вот Graphite не синхронный. Его использует Gatling. И он может терять метрики только так (Graphite + InfluxDB (Graphite Listener) теряет метрики, особенно если в тесте есть группы). Но он не блокирует Gatling
источник

TL

Timur Layshev in QA — Load & Performance
Вячеслав Смирнов
Вариант - отправка времени отклика в InfluxDB HTTP-запросами рабочий. Видел такой в действии. У коллег из СберТеха. Когда HP LoadRunner ещё был HP и не имел интеграции с InfluxDB они статистику отправляли в него HTTP-запросами, сделали своё API

Чем мне не нравится такое решение. Накладными расходами большими. InfluxDB, медленный, всё-таки. Нельзя в него отправлять запросов много. Даже батчами.

Подробностей, как было у СберТеха не знаю. Качественно ли там сделано. Но читал, как такое сделано в ЦЕРН-е. Они сделали иерархию:

Метрики принимают 100 telegraf-ов, которые могут быть InfluxDB-прокси
Они их аргерируют, препроцессингом,
Отправляют в 20 telegraf-ов, которые аггрегируют, копят батчи
Отправляют в 4 telegraf-а
...
Отправляют в InfluxDB
ну да, start_transaction/end_transaction свои были у них. Мне правда казалось, что там через tomcat какой-нибудь промежуточный было сделано, а если напрямую - то это ужасно. а тогда не лучше ли тогда для отправки логов в качестве промежуточного звена кафку использовать?
источник

TL

Timur Layshev in QA — Load & Performance
тем более logback позволяет сделать это просто довольно, правда все равно громоздко агрегатор\перекладчик нужен будет
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Timur Layshev
сам по себе этот случай довольно вырожденный, но просто уже не в первый раз сталкиваюсь. Понятно, что можно посчитать все уже после прогона, но это костыль какой-то. Можно Ланделю issue завести
Степа не будет это делать, они продвигают фронтлайн
источник

TL

Timur Layshev in QA — Load & Performance
Ιωάννης Τσεκούρι
Степа не будет это делать, они продвигают фронтлайн
Ну да, тут вот про схожий кейс он так и прокомментировал

https://github.com/gatling/gatling/issues/3315
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
ну я с ним и так общался по фронтлайну в том числе
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
они хотят кушоть
источник

VK

Vasiliy Kirnos in QA — Load & Performance
Ребята из Райффайзенбанка, подскажите, у вас есть какие-нибудь открытые материалы по "центру компетенций", кроме видео с хайлода? Очень хочу у себя в компании такой сделать.
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Vasiliy Kirnos
Ребята из Райффайзенбанка, подскажите, у вас есть какие-нибудь открытые материалы по "центру компетенций", кроме видео с хайлода? Очень хочу у себя в компании такой сделать.
а сколько у вас людей )
источник

VK

Vasiliy Kirnos in QA — Load & Performance
Ιωάννης Τσεκούρι
а сколько у вас людей )
1000 разрабов, 400 мануальных тестировщиков и 5 нагрузочников.
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Vasiliy Kirnos
Ребята из Райффайзенбанка, подскажите, у вас есть какие-нибудь открытые материалы по "центру компетенций", кроме видео с хайлода? Очень хочу у себя в компании такой сделать.
Что именно интересует? Задавайте вопросы.

База знаний
Курсы обучения
Шаблоны документов
Репозитории с кодом
Стенды
Процесс сбора информации

Почти всё очень специфичное, завязано на продукты, закрыто.

Думаю, Урал может больше рассказать. @ural02
источник

VK

Vasiliy Kirnos in QA — Load & Performance
Спасибо, Вячеслав. Написал Уралу отдельно.
Меня интересует База знаний и Курсы обучения.
Ситуация следующая разработчики и функциональные тестировщики проверяют, что код работает, их не волнует насколько код производительный. А когда код доходит до прода, у всех сразу начинается паника и говорят, что виноваты те 5 человек, которые не протестировали их фичи на нагрузка.

Думаю, как донести это до остальных сотрудников компании.
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Vasiliy Kirnos
Спасибо, Вячеслав. Написал Уралу отдельно.
Меня интересует База знаний и Курсы обучения.
Ситуация следующая разработчики и функциональные тестировщики проверяют, что код работает, их не волнует насколько код производительный. А когда код доходит до прода, у всех сразу начинается паника и говорят, что виноваты те 5 человек, которые не протестировали их фичи на нагрузка.

Думаю, как донести это до остальных сотрудников компании.
а тесты то проводились?
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Vasiliy Kirnos
Спасибо, Вячеслав. Написал Уралу отдельно.
Меня интересует База знаний и Курсы обучения.
Ситуация следующая разработчики и функциональные тестировщики проверяют, что код работает, их не волнует насколько код производительный. А когда код доходит до прода, у всех сразу начинается паника и говорят, что виноваты те 5 человек, которые не протестировали их фичи на нагрузка.

Думаю, как донести это до остальных сотрудников компании.
Понял. Вы - группа реагирования на инциденты. Хотите стать группой предотвращения
источник

VK

Vasiliy Kirnos in QA — Load & Performance
Ιωάννης Τσεκούρι
а тесты то проводились?
Не хватает рук, чтобы покрыть все фичи. У нас фичи пишутся быстрее, чем тесты под них как минимум раза в 2.
Расширение команды нагрузочных тестировщиков - не очень быстрый процесс. У меня две вакансии уже полгода висят.
источник

VK

Vasiliy Kirnos in QA — Load & Performance
Вячеслав Смирнов
Понял. Вы - группа реагирования на инциденты. Хотите стать группой предотвращения
Да. Именно так, хочу научить разрабов и функциональных тестировщиков проверять некоторые моменты самим.
источник

ΙΤ

Ιωάννης Τσεκούρι in QA — Load & Performance
Vasiliy Kirnos
Не хватает рук, чтобы покрыть все фичи. У нас фичи пишутся быстрее, чем тесты под них как минимум раза в 2.
Расширение команды нагрузочных тестировщиков - не очень быстрый процесс. У меня две вакансии уже полгода висят.
мы у себя регрессы и написание доп методов передаем функциональщикам по возможности
источник