да, это решение с кубером - да, это вариант - держу его "на запасных путях" )))
но там фишка в том, что даже остановленный кластер жрет пусть и копейки
создать инстанс и стартовать его за 2-3 шага до него - это реально 10 строк на питоне или меньше, т.е. не сильно напрягает
и тогда, это по-сути ворос стоимости - что дешевле кубер или PREEMPTIBLE VIRTUAL MACHINES
Думаю, без эксперимента не посчитать ))) или оч. неточно
С кубером, примерно (или кажется ))) ) все понятно
С инстансами только один вопрос:
создав и подняв его заранее как и чем из него лучше слушать нужный топик паб-саба? не нашел этого в гугле

Можно ещё на клауд ран посмотреть, сам не тестил, но похоже на нужное: https://cloud.google.com/run/

спасибо за user data, но если стартовать заранее, т.е. за несколько шагов пайплайна, чтобы инстанс усел поняться, то, видимо, не подойдет
Нужно, чтобы уже на поднятом инстансе что-то "слушало" паб-саб о завершнии нужного этапа

спасибо!
оч. похоже на то, что нужно, пишут, что ресурсов не жрет при простое и стартует за милисекунды

почему бы не стартовать инстанс на самом первом шаге тогда?

а зачем его останавливать? пусть следующего ждёт

а как же несколько тысяч в день?