не знаю, что имеется ввиду под "стандартная"
можно сконфигурить так , чтобы поднять несколько инстансов на одной машине на разных портах и разнести сервис по ядрам, но тогда придется постоянно держать поднятой машину с фиксированным кол-вом инстансов, а это и дорого и не удовлетворяет характеру вх. данных

я как раз думал немного о другом направлении.

обычно стандартные системы включают в себя несколько ролей. роли сервисные и влркеры

можно держать 'резиновый' кластер.

в минимуме будет бежать сервисные ноды (нередко можно гонять на 1 ноде, без супер процев и gpu/tpu)

судя по таймингу - у вас возможно примерно просчитать сколько нод нажо поднять для пайплайна в опр. момент входа данных.

т.е. можно пытаться оптимизировать 2×2 минуты.
рожанием ежей за пайплайн

или же при приходе данных родить нужное кол-во воркеров, в бегущем кластере.

ессно, стреляю в темноту.

может вы этот варик уже сфэйлили.

причем, если нагрузка такая как указано - можно уменьшить стоимость:
- долгоиграющих тачек
- воркеров (preemptible)

и может оказаться что уцененные n нод управления кластером в месяц будут стоить дешевле, чем время ожидания поднятия кластера.

если этот вариант рассмотрен и аннулирован - я просто пролил поток сознания ;)

да, это решение с кубером - да, это вариант - держу его "на запасных путях" )))
но там фишка в том, что даже остановленный кластер жрет пусть и копейки
создать инстанс и стартовать его за 2-3 шага до него - это реально 10 строк на питоне или меньше, т.е. не сильно напрягает
и тогда, это по-сути ворос стоимости - что дешевле кубер или PREEMPTIBLE VIRTUAL MACHINES
Думаю, без эксперимента не посчитать ))) или оч. неточно
С кубером, примерно (или кажется ))) ) все понятно
С инстансами только один вопрос:
создав и подняв его заранее как и чем из него лучше слушать нужный топик паб-саба? не нашел этого в гугле

пиши скриптяру на питоне. подписавшись на топик можно фильтровать по характеристикам, и не акать ненужное.

когда акнешь, popen както свой сервис.

))) вот и не нашел этого примера как подписываться на топик
все нашел, как инстансы поднимать и стопать и многое др., а про подписку не нашел - видимо, выходные )))

чувствуются выходные. я пошел на праздничный ужин.

вроде бы есть примеры в пабсабе на питоне ....

не помню трудность.