Cloud composer пробовали?)
Нет, к сожалению) Но когда-то давно смотрел поверхностно на этот продукт. Там мне кажется мое воркфлоу будет сложно впихнуть. Там у меня "кластер" состоит по факту из 3 частей. Сервис с апишкой ( принимает запросы на распознание, ставит их в очередь rabbitmq и отсылает потом результат распознавания) Конкретно распознаванием занимается отдельный воркер. Это апликуха построенная на celery и tensorflow. Она смотрит так же в очередь rabbitmq, когда в очередь приходит таска, он ее берет в работу и результат отсылает на S3. Что-то в этом роде. Воркеров таких несколько, так есть они отличаются только моделями для распознавания.