'o
Size: a a a
2018 October 27
SS
А есть трансляция?..
DN
А есть трансляция?..
и не запинили (
VP
SS
и не запинили (
Иии не запостили?..
'o
SS
DA
Я Грам, я сейчас буду рассказывать про Luigi. Кто не любит микрофоны или смотрит трансляцию, можно задать мне вопросы здесь, я в конце отвечу)
воспрос: а чё у него со скейлингом? можно запустить его на нескольких нодах в единый пайплайн?
DA
Я Грам, я сейчас буду рассказывать про Luigi. Кто не любит микрофоны или смотрит трансляцию, можно задать мне вопросы здесь, я в конце отвечу)
воспрос 2: есть поддержка HDFS?
воспрос 3: умеет запускать внешние не Python таски?
воспрос 3: умеет запускать внешние не Python таски?
VP
3 шарика Дмитрию :)
DA
хых почти на все мои вопросы я уже услышал ответы))
'o
хых почти на все мои вопросы я уже услышал ответы))
Прости, я забыл посмотреть 😁 Да. Я надеюсь, я на всё ответил. Я передам тебе мячики при встрече)
DA
Прости, я забыл посмотреть 😁 Да. Я надеюсь, я на всё ответил. Я передам тебе мячики при встрече)
)))) я только на 3 вопрос не услышал)
'o
)))) я только на 3 вопрос не услышал)
У него есть RemoteTarget (или Task, не помню), но реализовать вызов внешнего кода придётся самому.
А ещё можно запустить на другом сервере ещё один worker, который будет подключен к тому же scheduler. Но Luigi сам решит, что где запускать)
А ещё можно запустить на другом сервере ещё один worker, который будет подключен к тому же scheduler. Но Luigi сам решит, что где запускать)
DA
классно. спасибо!
'o
А ещё у меня есть репозиторий с простым проектом на Luigi с toml, pipenv и docker:
https://github.com/orsinium/luigi-example
https://github.com/orsinium/luigi-example
'o
А ещё у меня есть репозиторий с простым проектом на Luigi с toml, pipenv и docker:
https://github.com/orsinium/luigi-example
https://github.com/orsinium/luigi-example
Только важно, что он конфигурирует логирование по фичи, которая ещё в виде PR, поэтому в проекте используется мой форк. В остальном всё то же самое, что в стабильной версии)