Size: a a a

2019 December 22

BD

Banschikov Denis in gcp_ru
Anna
Cloud composer пробовали?)
Нет, к сожалению)  Но когда-то давно смотрел поверхностно на этот продукт.  Там мне кажется мое воркфлоу  будет сложно впихнуть. Там у меня "кластер" состоит по факту из 3 частей. Сервис с апишкой ( принимает запросы на распознание, ставит их в очередь rabbitmq  и отсылает потом результат распознавания) Конкретно распознаванием занимается отдельный воркер. Это апликуха построенная на  celery и tensorflow. Она смотрит так же в очередь rabbitmq, когда в очередь приходит таска, он ее берет в работу и результат отсылает на S3. Что-то в этом роде. Воркеров таких несколько, так есть они отличаются только моделями для распознавания.
источник

A

Anna in gcp_ru
Banschikov Denis
Нет, к сожалению)  Но когда-то давно смотрел поверхностно на этот продукт.  Там мне кажется мое воркфлоу  будет сложно впихнуть. Там у меня "кластер" состоит по факту из 3 частей. Сервис с апишкой ( принимает запросы на распознание, ставит их в очередь rabbitmq  и отсылает потом результат распознавания) Конкретно распознаванием занимается отдельный воркер. Это апликуха построенная на  celery и tensorflow. Она смотрит так же в очередь rabbitmq, когда в очередь приходит таска, он ее берет в работу и результат отсылает на S3. Что-то в этом роде. Воркеров таких несколько, так есть они отличаются только моделями для распознавания.
А почему раббит а не пабсаб?)
источник

A

Anna in gcp_ru
Я могу поспрашивать у наших датасаентистов, что они в пэтах используют
источник

A

Anna in gcp_ru
Чисто гке под это очень нецелесообразно имхо использовать
источник

A

Anna in gcp_ru
Я в понедельник могу пару вещей потестить, отпишу варианты что может помочь
источник

A

Anna in gcp_ru
Сегодня мой мозг слабо работает 😄
источник

BD

Banschikov Denis in gcp_ru
Anna
А почему раббит а не пабсаб?)
Это не ко мне вопрос) Я не разработчик) Вообще это все сейчас крутится  на 30 железных нодах и запускается при помощи docker-compose и ansible. Сейчас проектом занимается 2 студента, поэтому переписывать нет возможности😂
Наши руководители решили перестроить пайплайн на кубернетес😂 Ну и конечно я должен это перестроить)
источник

A

Anna in gcp_ru
источник

A

Anna in gcp_ru
Будет вариант как-то на это все посмотреть или NDA?
источник

BD

Banschikov Denis in gcp_ru
Там ещё печаль что на CPU работает tensorflow, так как в GPU они не смогли. Из за этого нужно овер-дофига инстансов
источник

A

Anna in gcp_ru
Дурацкий вопрос: а почему не смогли в GPU?
источник

A

Anna in gcp_ru
(Не спрашиваю про TPU)
источник

BD

Banschikov Denis in gcp_ru
Anna
Будет вариант как-то на это все посмотреть или NDA?
Ага, там полный NDA, но в целом могу даже нарисовать процесс весь. Там пайплайн простой.
источник

BD

Banschikov Denis in gcp_ru
Anna
Дурацкий вопрос: а почему не смогли в GPU?
источник

BD

Banschikov Denis in gcp_ru
История об этом умалчивает
источник

BD

Banschikov Denis in gcp_ru
Anna
Я могу поспрашивать у наших датасаентистов, что они в пэтах используют
Буду очень благодарен
источник

A

Anna in gcp_ru
Угу, дам знать
источник

A

Anna in gcp_ru
TPU в гугле хоть и дорогие
источник

A

Anna in gcp_ru
Но делают своё дело
источник

BD

Banschikov Denis in gcp_ru
Да я не сомневаюсь что там огонь
источник