Но это уже к вопросу выравнивания нагрузки не?
это к вопросу того что даже если ты сможешь хендлить одновременно 1-10к коннектов, то не факт что тебе хватит памяти для их хипа
простой пример это какой-нибудь graphql сервер, который дергает другие сервисы и делает клиент сайд джоины. вот пока ждет очередного ответа то у него в памяти болается уже то что получил до этого