MK
может вам все это в кубере будет удобно гонять.
Size: a a a
2019 June 03
MK
если обработка идет по семантике map-reduce, можно через dataproc на spark.
MK
по данным - каждый из этапов работает с файлом, имя которого и передается в парамметрах при его вызове
файл json может быть 100-200Мб - он читается, вычисляется и в него сохраняется (если кратко)
файл json может быть 100-200Мб - он читается, вычисляется и в него сохраняется (если кратко)
у вас js чем занимается?
MK
визуализацией/презентацией или реально обработкой?
MK
в общем, right tool for the job.
n
визуализацией/презентацией или реально обработкой?
никакой визуализации нет, на всех этапах только чтение файла, обработка и запись в него
n
может вам все это в кубере будет удобно гонять.
как раз от кубера и хотелось бы отказаться, чтобы не держать поднятые ноды, а сделать это все на цепочке вызываемых функций или аппэнджинов
n
чтобы быстрее работать над бизнес логикой. и не блокироваться из-за инфра усилий - видимость, синхронизация, контроль, анализ логов. контроль доступа.
с видимостью, имхо, не должно быть траблов, т.к. все от одного юзера
ZO
Вы второй человек, упоминающий клауд-функции
Плз, где можно посм. пример пайп-лайна из кл.-функций и/или АппЭнджин и вызов след. этапа в пайплайне?
Плз, где можно посм. пример пайп-лайна из кл.-функций и/или АппЭнджин и вызов след. этапа в пайплайне?
Так идёт обработка сообщения: https://cloud.google.com/functions/docs/calling/pubsub
А так посылать сообщения: https://cloud.google.com/pubsub/docs/publisher
А так посылать сообщения: https://cloud.google.com/pubsub/docs/publisher
MK
как раз от кубера и хотелось бы отказаться, чтобы не держать поднятые ноды, а сделать это все на цепочке вызываемых функций или аппэнджинов
из-за одноразовости и редкости выполнений?
MK
Может сразу в Cloud Functions? и передавать через pubsub вызовы.
если выполнения короткосрочные, 100% хороший подход.
MK
с видимостью, имхо, не должно быть траблов, т.к. все от одного юзера
я не знаю что вы собираетесь грызть, но видимость в распределенных системах - один из инструментов разработки и отладки.
ZO
если выполнения короткосрочные, 100% хороший подход.
Да, длительность я не учёл, нужно в 9 минут максимум уложиться
MK
и есть еще вопрос если есть коммуникация между этапами
ZO
и есть еще вопрос если есть коммуникация между этапами
которая не передается через файлы или pubsub?
MK
напр. если у него data based api.
MK
т.е. он пишет в тот же файл как и читает (как намекнул выше), можно словить интересные заморочки синхронизации.
ZO
т.е. он пишет в тот же файл как и читает (как намекнул выше), можно словить интересные заморочки синхронизации.
Это в общем так себе паттерн, словить можно много
MK
да. но чел написал о таком намерении... или я не понял.