DT
Talend MDM есть такое
Size: a a a
2021 April 23
PA
Ребята, приветствую а скажите пожалуйста можно ли на композере с селери экзекьютором запускать таски с тредингом или мультироцессингом?
b
а чоб нет, у нас например есть отдельный gke worker cluster, мы туда отправляем все тяжелые workload. Ну в вашем случае можно пожирнее выбрать тачки и вперед.
b
Тоесть разделить нагрузку - airflow отдельно и тяжелые таски отдельно. Ну и скрипт/приложение обернуть образом и запускать через GKEPodOperator
2021 April 24
PA
Спасибо, таска не тяжелая, нужно выполнить её параллельно.
ME
Мне пока лень 😂
K
Добрый день,
Хочу начать с этого чарта
https://github.com/bitnami/charts/tree/master/bitnami/airflow/
Но может есть более правильный подход для k8s? )
Хочу начать с этого чарта
https://github.com/bitnami/charts/tree/master/bitnami/airflow/
Но может есть более правильный подход для k8s? )
OI
Так есть же в официальном репозитории хельм чарт. (Здоровенный, правда, но есть)
K
Начало положено ) bitnami
K
Я только вчера начал с airflow знакомиться )
знакомство заключалось в его развёртывании, продолжаю...
знакомство заключалось в его развёртывании, продолжаю...
AS
привет! могу помочь, если есть вопросы, я на убунту ставил
K
Привет! установку я закончил ) теперь буду вникать как мои питонячие скрипты и сервисы запускать в airflow, и вообще глубокое погружение в airflow
AS
хорошо )
AS
не забудь, что надо обязательно включить scheduler, и что даги появляются в UI где-то через 5-6 минут после того, как ты их в папку dags закинул
K
ок, спасибо
IL
А что за ui?
IL
Ага, спастбо