Size: a a a

QA — Load & Performance

2020 April 16

DM

Dmitrii Malivanov in QA — Load & Performance
Добрый день! Думаю глупый вопрос, но я запутался))
Используют Jmeter.
Для проведения сценариев я использую файл с логинами пользователей. Скажем в нём 100 уникальных пользователей, так как в системе больше нет.

Я выставляю:
thread count = 1000
rump up таким образом чтобы нагрузка постепенно увеличивалась

При запуске для каждого нового потока у меня будет браться следующий пользователь из файла, но их всего 100. Когда будет 101 поток возьмётся 1ый юзер из файла?
Мне нужно сделать 1000 уникальных пользователей, а в системе их всего 100, решается ли это только thread count = 1000 или как то по другому можно решить?
Ну и вообще, есть ли смысл в этой уникальности?

Спасибо заранее.
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Dmitrii Malivanov
Добрый день! Думаю глупый вопрос, но я запутался))
Используют Jmeter.
Для проведения сценариев я использую файл с логинами пользователей. Скажем в нём 100 уникальных пользователей, так как в системе больше нет.

Я выставляю:
thread count = 1000
rump up таким образом чтобы нагрузка постепенно увеличивалась

При запуске для каждого нового потока у меня будет браться следующий пользователь из файла, но их всего 100. Когда будет 101 поток возьмётся 1ый юзер из файла?
Мне нужно сделать 1000 уникальных пользователей, а в системе их всего 100, решается ли это только thread count = 1000 или как то по другому можно решить?
Ну и вообще, есть ли смысл в этой уникальности?

Спасибо заранее.
Добрый день, нагрузку проще измерять в запросах в сек, транзакциях в сек. Не в пользователях. Это упростит постановку требований, формирование профиля, ожидания.

CSV Data Set Config имеет настройки - что делать при окончании файла. по умолчанию - файл будет читаться по кругу.

- Есть ли смысл в уникальности?
Очень зависит от вашей системы. Иногда есть. Если пользователь 1 и он имеет одну папку (объект) в профиле, и одновременно запустится сценарий:
- просмотра
- удаления
- изменения
...
этого объекта, то никакой сценарий не выполнится

Если же все сценарии - просмотр, то будет высокая степень кеширования, вожножно, что не нагрузит систему должным образом

Или наоборот приведёт к блокировкам в системе, что дефект, но который может и не надо чинить, потому что в реальности на одним объектом параллельных операций нет

...
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Thread Count 1000 - степень паралельности выполнения сценариев. Это не показатель количества уникальных пользователей. Считайте, что уникальный пользователь, VU - сценарий, одно выполнение от начала до конца вашей катушки, последовательность из N запросов.

И эти выполнения можно обеспечить имея 1 Thread и имея 1000 Thread. C 1000 Thread получится быстрее
источник

AK

Alex Kravchenko in QA — Load & Performance
Добрый день. А есть в чате люди, которые хорошо работают с sitespeed io? есть пару вопросов, хотел бы пообщаться в лс. Маякните, кто работал с этой тулзой. Спасибо
источник

SP

Sergey Popov in QA — Load & Performance
Коллеги, а кто-нибудь делал нагрузочное тестирование SAP ERP (SAP 4/HANA) чем-то, кроме Load Runner'а?
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Sergey Popov
Коллеги, а кто-нибудь делал нагрузочное тестирование SAP ERP (SAP 4/HANA) чем-то, кроме Load Runner'а?
Привет. Когда-то исследовал этот вопрос. Но проект закончился, тему не развил. В SAP есть автоматизация с помощью Visual Basic, что-то вида VBA для Microsoft Office, но тут для SAP. Позволяет кликать с высокой скоростью. Это почти полный аналог Load Runner.

Ищется по темам SAP GUI Scripting

Изучал это по докладам безопасников
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Успешный проект был у коллеги. Там разработчики SAP помогли, и сделали форму, внутреннюю, из которой можно было вызвать в много потоков транзакции. Такой инструмент тестирования на ABAP.
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
И самая безумная идея - самому слать запросы, используя SAP Proxy, SAP CAP, ... Трафик можно перехватывать, модифицировать, есть API у безопасников опять же. На Python
источник

SP

Sergey Popov in QA — Load & Performance
Вячеслав Смирнов
Привет. Когда-то исследовал этот вопрос. Но проект закончился, тему не развил. В SAP есть автоматизация с помощью Visual Basic, что-то вида VBA для Microsoft Office, но тут для SAP. Позволяет кликать с высокой скоростью. Это почти полный аналог Load Runner.

Ищется по темам SAP GUI Scripting

Изучал это по докладам безопасников
Документация по GUI scripting есть, планируем её в автоматизации функциональщины использовать. Интересная мысль - посмотреть в эту сторону. Спасибо!
Массовый запуск транзакций мы делали через фоновые задания, но сейчас требование именно через GUI тесты прогнать...
источник

SP

Sergey Popov in QA — Load & Performance
Вячеслав Смирнов
И самая безумная идея - самому слать запросы, используя SAP Proxy, SAP CAP, ... Трафик можно перехватывать, модифицировать, есть API у безопасников опять же. На Python
Это мы вряд ли потянем имеющимися силами. Идея со скриптингом очень интересная, почему-то не думал об этом. Хотя сколько виртуальных юзеров потянет одна машина - большой вопрос.
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Ещё знаю людей, которые знают Load Runner, и которые могут написать сценарии (решить ваши проблемы с LR)
источник

SP

Sergey Popov in QA — Load & Performance
Вячеслав Смирнов
Ещё знаю людей, которые знают Load Runner, и которые могут написать сценарии (решить ваши проблемы с LR)
Наша проблема с LR в том, что руководство отказалось от его покупки. Нам скрипты готов написать сам SAP, запуски сделать и потом сделать отчёт по своей форме, но у нас нет лицензии. А нужно весьма много VU.
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Если использовать SAP GUI Scripting, то придётся делать 1 виртуальная машина с клиентом - 1 пользователь. Что решается, за счёт docker c Windows Server или Virtual Box, ... В Load Runner можно больше сделать c одной станции, они программно скрывают окно SAP ERP, и работают с ним в невидимом режиме, посылая события в контролы
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Sergey Popov
Наша проблема с LR в том, что руководство отказалось от его покупки. Нам скрипты готов написать сам SAP, запуски сделать и потом сделать отчёт по своей форме, но у нас нет лицензии. А нужно весьма много VU.
Опыт показывает, что тут экономия не оправдывается. Если тестирование разовое, что часто и бывает, то отладиться можно на 50-ти, а потом купить. И всякие скидки получить от HP
источник

SP

Sergey Popov in QA — Load & Performance
Вячеслав Смирнов
Если использовать SAP GUI Scripting, то придётся делать 1 виртуальная машина с клиентом - 1 пользователь. Что решается, за счёт docker c Windows Server или Virtual Box, ... В Load Runner можно больше сделать c одной станции, они программно скрывают окно SAP ERP, и работают с ним в невидимом режиме, посылая события в контролы
По-моему в скриптинге можно тоже несколько сеансов запустить, но там с этим проблемы были, начиналось непредвиденное поведение...
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Если регулярно тестировать, то имеет смысл задуматься над оптимизацией расходов
источник

SP

Sergey Popov in QA — Load & Performance
Вячеслав Смирнов
Опыт показывает, что тут экономия не оправдывается. Если тестирование разовое, что часто и бывает, то отладиться можно на 50-ти, а потом купить. И всякие скидки получить от HP
У нас разовое, но нет варианта обойтись бесплатными 50 VU ☹️
У нас цель 3-5 тыс., SAP сам признаёт, что нужно на таком количестве делать...
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Sergey Popov
У нас разовое, но нет варианта обойтись бесплатными 50 VU ☹️
У нас цель 3-5 тыс., SAP сам признаёт, что нужно на таком количестве делать...
У HP гибкая политика. Можно купить VU на время. Но много сразу. Если перед этим отладиться, то вполне себе вариант
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
https://github.com/SecureAuthCorp/pysap
Вот о таких проектах говорил, когда писал про перехват и отсылку запросов на Python
источник

ВС

Вячеслав Смирнов in QA — Load & Performance
Их много всяких разных
источник