SI
да, согласен, но все равно это пахнет костылем, конечно
Size: a a a
2021 August 30
NN
А вряд ли есть сейчас бескостыльное решение.
VN
Юзаем
VN
Много мелких батчей, которые вынимаются из Кафки/кролика, айрфло не подходит
VN
Сейчас делаем для пакетов, может чем-то удобнее, чем айрфло, а может и те же яйца вид сбоку
VV
Я вот заметил что там и с зависимостями проблемы решены, и сенсоры человеческие и gui с логами и мониторингом и прям конфетку обещают. А вот где эта штука уступала бы айрфло - не пишут гады
VN
с зависимостями попроще, да, там экзекьюторы отдельно, у меня вообще в отдельных контейнерах живут. Сенсоры - да, чуть ли не под стриминг подходят. У нас так и делают, каждые 15 секунд вынимают из очередей что накопилось. Про гуй - ну не знаю, на любителя
VN
мы обратно на айрфло не собираемся, для нас важна частая обработка операций
VN
свои нюансы везде есть. Попробовали большие объемы данных гонять между отдельными тасками (солидами) - дагстеру стало очень плохо. В общем, как везде
VV
А плохо с чем стало? Дефолтный io manager не выводит по времени?
VN
плохо становится в первую очередь с graphQL сервером
VN
там через веб-апи органичен объём пакетов
VN
в общем, большие данные между тасками как в айрфло - лучше не гонять
VV
Просто я не понимаю что в дагстере значит между тасками? В айрфло понятно - не гонять через xcom. А в дагстере я думал что достаточно прописать iomanager, сериализующий и записывающий данные в s3 и все ок. Правильно я понял, что он именно при сериализации через iomanager засирает dagit, а если делать сохранение вручную внутри солида то все ок?
Р
Всем привет! как правильно решить проблемы с таблицами которые перезаписываются во время выполнения операций над этими таблицами sparkом (ругается на паркет файлы которые перезаписались) ?
одним из решений является REFRESH TABLE, но в какой момент его прописать, чтобы она выполнилась именно в момент обращения к таблице ?
одним из решений является REFRESH TABLE, но в какой момент его прописать, чтобы она выполнилась именно в момент обращения к таблице ?
Р
не спарк стриминг
ЕГ
Try catch повесить
ЕГ
Либо не запускать запросы на чтение, пока данные перезаписываются, по времени разделить
Р
это не решение, функционал работает +- 24 часа , и я не знаю точное время обновления таблиц
Р
а это как?
не совсем понял
не совсем понял