жесть :)
тут простыми вариантами не обойтись, я бы куда то слил все данные и батчами тянул потом поштучно с нод отправлял

да и сеть тоже должна тянуть такое

ну вот я дал вариант с шардированной бд, правда тут тоже не ясно как в сетку это просочится

если это 1 машина, она должна 30 гб минимум в сек брать по сети и слать их же

а какие конфигурации тачек под такие задачки?

а что то кроме отправки xml в тесте есть? мб проще напрямую микросервисами сделать?

3 машины 32CPU 64ram есть щас

В основном отправка xml

Сеть вроде 5 гигабит

да там на целевом сервисе сеть не влазит вроде, по примерным прикидкам

@Frantaan посмотрите доклад
Пригодится, похожая задача была

Да, спасибо, уже слушаю)

тебе полностью в память поместиться смогут только 200 тысяч файлов. если тебе надо отправлять по 11 тысяч запросов, то значит минимум в памяти надо иметь хотябы те xml что отправляешь и следующую которую отправишь, это 70 гигов, а максимальный лимит из 180 доступных, еще какой-то объем необходим для обслуживания самого инструмента и думаю не маленький. то есть я думаю ты сможешь за раз в инструменте держать не более трех файлов на поток, для таких интесивностей это очень мало, если поток затупит или постарается догнать нужную интенсивность отрпвкой нескольких запросов продряд - может не хватить фалйа

по хорошему начать с обмеров текущих машин и с этим уже как-то работать

Спасибо за наводки большое, надо идти думать теперь)
Жаль через кафку не выйдет, так бы жизнь облегчило

https://kafka.apache.org/documentation/#connect_transforms

Вот тут написано, как из файла считать тестовые данные в топик

Надо как-то делать такое по расписанию

Или маршрутизацией - накопить где-то данные и постепенно пересылать из kafka в kafka

Да я с этой кафкой намучался уже)
Возможно стоит отойти и подумать насчет редиса

Ну у меня так и сделано кстати, я так и планировал засыпать данные в Кафку
Но споткнулся о вычитку