GG
думаю косяк в операторе, и оом там нет. думаю тупо изза долгого выполнения умирает. мб имет смысл переписать его тупо
Попробуй, это одна из моих идей. Всунь в него больше print ololo. И посмотри, где дохнет
Size: a a a
2019 June 17
GG
ну в придроченный композер я верю больше чем в собственный сетап который еще не понятно кто будет обслуживать
Ну-ну
DZ
скажем так, я верю что нормальна тима может сделать лучше. но ресурсов типа бюджета и времени толком на это нет
DZ
через полгодика мб
S
Клево, когда на основную штуку нет ресурсов и времени
DZ
согласен. но год она норм работала: запускала себе спарк и контейнеры в кубе. но вот с этим оператором обосрамс
DZ
вообще все это конфигодрочерство после нормальной разработки меня дико бесит. И по этому пытаюсь найти отдушино в гугле
GG
вообще все это конфигодрочерство после нормальной разработки меня дико бесит. И по этому пытаюсь найти отдушино в гугле
Перешёл на гугль - страдай 😁
DZ
думаю просто брошу это все и продолжу писать на скалке
GG
Правильное решение 👍
DZ
кстати у вас на каких тачках воркеры крутятся, скок процов, памяти?
DZ
Попробуй, это одна из моих идей. Всунь в него больше print ololo. И посмотри, где дохнет
ну вообщем я был прав, слишком долгий execute помечается как зомби, хотя он нет
GG
кстати у вас на каких тачках воркеры крутятся, скок процов, памяти?
По-разному. От задач зависит. Но в целом, 2-4 ядра / 2-8 гиб на эйрфлоу должно хватать
GG
ну вообщем я был прав, слишком долгий execute помечается как зомби, хотя он нет
Думаешь в композере есть защита от слишком долгих тасок? Типа глобального таймаута? Может просто данные более мелкими пачками всасывать ?
GG
кстати у вас на каких тачках воркеры крутятся, скок процов, памяти?
Я на всякий случай добавлю, что у нас было три эйрфлоу. 2 на celeryexecutor, 1 на локал. Все докеризировано. Но эйрфлоу там был в довесок к гораздо более жрущим вещам (т.е. из серии сервер на 32 ядра и 160 гиб ОЗУ, там тяжёлый проект и туда же эйрфлоу воткнули)
DZ
Думаешь в композере есть защита от слишком долгих тасок? Типа глобального таймаута? Может просто данные более мелкими пачками всасывать ?
ну у меня это запрос запущенный в sqoop airflow не маркает. думаю дело в том что хесл чек какой то неправильный.
ну мелькими пачками это вариант, просто тогда надо программировать
ну мелькими пачками это вариант, просто тогда надо программировать
DZ
Такое ощущение, что он просто аварийно завершается (напр., его оом убил), а основной поток чем-то занят и не коллектит сразу код возврата от субпроуесса
кароч это oom, но в логах пустота. и косяк в том что Psycopg2 cursor затягивает все в память (вот такого говна я и не ожидал)
РА
кароч это oom, но в логах пустота. и косяк в том что Psycopg2 cursor затягивает все в память (вот такого говна я и не ожидал)
небось в логах оси был оомкиллер?
DZ
хз, google composer у меня. контроля не так много (ну или я не знаю куда смотреть)
GG
кароч это oom, но в логах пустота. и косяк в том что Psycopg2 cursor затягивает все в память (вот такого говна я и не ожидал)
Я ж тебе говорил про оом