R
Миллиард за сутки
Size: a a a
2020 April 01
KY
можно сделать темплейт класс, который будет генерить данные на лету если они одноформатные.
R
Данные заготавливаются заранее, на лету не варик
ВС
Есть хороший доклад от Сергея Журина о нагрузке шины. Где он рассказывает, как снижал нагрузку на диск при считывании миллионов xml в JMeter. В общем он сжал каталоги с файлами, а в JMeter разжимал их, пулил в очередь на Java же и разбирал её
https://youtu.be/kWHjX8-uX5Q
https://www.highload.ru/moscow/2018/abstracts/3863
https://youtu.be/kWHjX8-uX5Q
https://www.highload.ru/moscow/2018/abstracts/3863
A
Переслано от Alexey
кто-нибудь использовал к6 для нагрузочного тестирования?
-iterations звучит как количество итераций, а не кол-во потоков
https://k6.io/blog/static/6545e6080120c4533df097f7670eda52/82107/k6-output.png
-iterations звучит как количество итераций, а не кол-во потоков
https://k6.io/blog/static/6545e6080120c4533df097f7670eda52/82107/k6-output.png
KY
Миллиард за сутки
не дурно, надо плотно подумать. вероятно имеет смысл запилить в редис
AK
Переслано от Alexey
кто-нибудь использовал к6 для нагрузочного тестирования?
-iterations звучит как количество итераций, а не кол-во потоков
https://k6.io/blog/static/6545e6080120c4533df097f7670eda52/82107/k6-output.png
-iterations звучит как количество итераций, а не кол-во потоков
https://k6.io/blog/static/6545e6080120c4533df097f7670eda52/82107/k6-output.png
Так и есть
KY
не дурно, надо плотно подумать. вероятно имеет смысл запилить в редис
да думаю БД с шардированием должно подойти. берешь рандомный шард, оттуда рандомную хмл - должно быть быстро
R
не дурно, надо плотно подумать. вероятно имеет смысл запилить в редис
А вычитывать перед отправкой как лучше в таком случае?
KY
А вычитывать перед отправкой как лучше в таком случае?
а тебе нужно каждый раз слать уникальный хмл?
R
Да, и соблюсти порядок желательно
KY
Да, и соблюсти порядок желательно
я не уверен, но попробовать довольно просто. имена файлов(+путь?) в нужном порядке сохранить в csv и по порядку брать их оттуда. бонус даже огромного csv в jmeter в том, что он не грузит его весь в память сразу, а берет оттуда частями. таким же образом у тебя нигде не будет висеть огромное количество хмл в памяти, но при этом будет мощно отъезжать диск
A
Миллиард за сутки
11,5к rps?
KY
11,5к rps?
угу
A
а сами файлы тяжелые?
R
3-6мб
KY
нагрузок таких не встречал особо, в сбере близкие были на систему терминалов. даже диву даюсь)
KY
3-6мб
да, печально
KY
думаю стоит распределнные тесты делать, допустим 11 машин. уже по 1к в секунду с каждой - не так дико выглядит, хотя 3гб/сек с диска - сомнительно
KY
а уж 30гб/сек вообще очень сомнительно