Size: a a a

2019 June 17

DZ

Dmitry Zuev in Data Engineers
логе такска пусто
источник

DZ

Dmitry Zuev in Data Engineers
я грешу на то что оператор делает долгий execute и по этому нет хартбита. Тот же запрос но с лимит проходит
источник

DZ

Dmitry Zuev in Data Engineers
George Gaál
В логах что ?
ну либо я смотрю не те логи. Смотрел логи самой таски, воркера, шедулера
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
ну либо я смотрю не те логи. Смотрел логи самой таски, воркера, шедулера
А он(оператор) в том же потоке выполняется или спавнит что-то ещё ?
источник

DZ

Dmitry Zuev in Data Engineers
судя по коду в один поток он все делает
источник

DZ

Dmitry Zuev in Data Engineers
ничего не спаунит
источник

GG

George Gaál in Data Engineers
Такое ощущение, что он просто аварийно завершается (напр., его оом убил), а основной поток чем-то занят и не коллектит сразу код возврата от субпроуесса
источник

DZ

Dmitry Zuev in Data Engineers
ну оом нигде нет, ну и судя по коду там не может быть оом
источник

DZ

Dmitry Zuev in Data Engineers
как я понимаю если там оом то должен быть код -9
источник

DZ

Dmitry Zuev in Data Engineers
но таска просто проставляется как зомби и ее подчищает
источник

GG

George Gaál in Data Engineers
Ну, надо понять в какой момент она зомбируется
источник

DZ

Dmitry Zuev in Data Engineers
ну либо я зря верю в питон, и что он не пытается затянуть в память весь резалтсет
источник

GG

George Gaál in Data Engineers
Повторюсь, что зомби - это когда главный процесс чем-то был занят и не мог своевременно взять код возврата от субпроцесса
источник

DZ

Dmitry Zuev in Data Engineers
но по графикам память есть
источник

GG

George Gaál in Data Engineers
Т.е. в общем-то это штатная ситуация. Но когда зомби копятся. Фу-фу-фу. Кстати, не в докере запускаете ?
источник

GG

George Gaál in Data Engineers
LocalExecutor?
источник

DZ

Dmitry Zuev in Data Engineers
Google composer же
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
но по графикам память есть
Не факт, что она есть
источник

DZ

Dmitry Zuev in Data Engineers
поверх k8s
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
Google composer же
Что? В смысле в gcp?
источник