A
здесь видно только 5+ минут в первичной выборке, до джойна ещё не дошло
я так понял что весь джоин на stage 6 запланирован выполнятся в одном единственном таске
да, вот запустилось
Size: a a a
2021 May 12
D
D
A
даже интересно что у вас за джойн, если после предыдущих шагов из 100гб сделали почти по 2тб шафл врайта который свалился на 1 таск для джойна
AZ
можно, но топик стартер стартер спрашивал "не эйрфлоу"
AZ
моя проблема с эйрфлоу видимо похожая, на мой вкус он везде неродной: на хадупе не умеет использовать распределенный сторадж и компьют, на кубере тоже как-то сбоку стоит, плагины подавай для самый простых вещей
K
какие плагины?
AZ
ну секреты например доставать, нормально использовать сервисные учетки на кубере
K
мы на волт мигрировали недавно, сейчас пытаемся сделать pv per dag run и запуск в кубере, плюс достаточно мощный шаблонизатор с бизнесспецифичными задачами
K
но вот @once мы не запускаем
K
Но у нас связка k8s+hadoop
AZ
у меня вот в AnalyticOps один из движков - это чисто кубер, без всяких Jenkins/Gitlab CI или Azure Pipelines, очень удобно через API оформить и запустить джоб в кубере, никакой шаблонизации или кодогенерации, все нормально программно доступно
K
ну запустили джоб через джоб, а скедулинг если?
K
А как без CI валидировать ?
AZ
я говорю про runOnce запуск, обучение/оценка модельки у нас
AZ
само приложение валидирует - забирает артефакты, метрики, показывает их пользователям
K
ран ванс можно шаблон в гилабе расписать с чистым апи)
AZ
но это получается еще одна прослойка
K
аналитику куб изучать?
AZ
у нас так и есть, training engine это подключаемая штука, можно на gitlab ci/jenkins через шаблоны, либо в кубер напрямую