Size: a a a

2019 June 01

TK

Timur Kalandarov in gcp_ru
Что-то поменялось? Никто похожее не ловил?
источник

TK

Timur Kalandarov in gcp_ru
В общем, по какой-то причние отрубился Cloud Resource Manager API 🤔
источник

MK

Max Kovgan in gcp_ru
Timur Kalandarov
В общем, по какой-то причние отрубился Cloud Resource Manager API 🤔
а какие действия с этим api ты делал в этом проекте?
источник

TK

Timur Kalandarov in gcp_ru
В том то и дело, что ничего сверхъестественного не делал.

Ладно, бывает) Включил обратно, все заработало.
источник
2019 June 03

n

nnnik in gcp_ru
Добрый день!
Сорри за ламерский вопрос
Реализация проекта представляется в виде пайплайна из АппЭнджинов питона и JS, где каждый предыдущий этап вызывает последующий с какими-либо параметрами
Подскажите, пжл:
- как(какими командами, примеры, ...) в gc лучше реализовать вызовы последующих этапов и завершить текущий не дожидаясь отклика о завершении вызванного
- или м.б. лучше использовать какой-либо другой механизм, в котором можно описать весь пайплайн в виде последовательности,
- или ...
В общем, заранее спасибо за любую подсказку )))
источник

MK

Max Kovgan in gcp_ru
есть специфика пайплайнов данных.
источник

MK

Max Kovgan in gcp_ru
у вас этапы короткие? низкопамятные?
источник

MK

Max Kovgan in gcp_ru
аппэнжин очень ограничен в спеках.
источник

MK

Max Kovgan in gcp_ru
есть  несколько техгологий управдения прлцессами.
источник

MK

Max Kovgan in gcp_ru
тот же airflow
источник

n

nnnik in gcp_ru
по данным - каждый из этапов работает с файлом, имя которого и передается в парамметрах при его вызове
файл json может быть 100-200Мб - он читается, вычисляется и в него сохраняется (если кратко)
источник

MK

Max Kovgan in gcp_ru
понятно. если не будете использовать готовое, вам придется реализовать решение сложной задачи.
источник

MK

Max Kovgan in gcp_ru
сколько таких этапов и сколько экземпляров этапов ожидается обрабатывать?
источник

n

nnnik in gcp_ru
а в чем сложность?
разве трудно вызвать выполнение АппЭнджина из другого АппЭнджина? (плз, как найти пример кода на питоне?)
Этапов внутри пайп-лайна около 8-9, каждый этап пораждает только один след. этап
Параллельно может стартовать до 100 пайплайнов
В чем ограничение?
источник

ZO

Zon Orti in gcp_ru
Может сразу в Cloud Functions? и передавать через pubsub вызовы.
источник

ZO

Zon Orti in gcp_ru
Если пайплайн тригерится загрузкой файла - можно сразу на бакет подписаться по пабсабу
источник

MK

Max Kovgan in gcp_ru
nnnik
а в чем сложность?
разве трудно вызвать выполнение АппЭнджина из другого АппЭнджина? (плз, как найти пример кода на питоне?)
Этапов внутри пайп-лайна около 8-9, каждый этап пораждает только один след. этап
Параллельно может стартовать до 100 пайплайнов
В чем ограничение?
проблема не выполнения а видимости и управления процесса.
источник

MK

Max Kovgan in gcp_ru
и иногда выполнения...
источник

MK

Max Kovgan in gcp_ru
Zon Orti
Если пайплайн тригерится загрузкой файла - можно сразу на бакет подписаться по пабсабу
да, но лучше пользоваться инструментами обработки
источник

MK

Max Kovgan in gcp_ru
чтобы быстрее работать над бизнес логикой. и не блокироваться из-за инфра усилий - видимость, синхронизация, контроль, анализ логов. контроль доступа.
источник