V
Size: a a a
2021 May 19
AB
salting тема, на YT регулярно не влезал в джобы, звучит полезно
ЕГ
Пайспарк пандас юдф
AB
👍всем спасибо, есть над чем подумать)
A
нашел предполоджение, что его через докер ставят - попробуем наверное с этого начать
A
уже не хватает его - много процессов, код на питоне - очень не удобно администрировать становится
A
информатики нет)
A
airflow приглянулся своей красотой и опенсорсностью)
A
такое тоже находил - судя по всему тоже буду рассматривать как вариант - пробовать ставить
T
Дошел, у них кстати самая приятная дока из всех 3х
T
И презенташки отличные от уберевцев, намного интересней чем у дельты, имхо
АР
а вы случаем не будете статью с сравнением форматов делать?
АР
было бы полезно с актуальными метриками, так сказать
T
Если до бечмарков дойдет попрошу ребят в блоге компании написать и скину сюда. Без бечмарков таких статей уже достаточно много
АР
спасибо!
AZ
Айсберг пока ставит функциональность и корректность в приоритет, без merge-on-read фактически нет работающей потокового upsert (и вообще потоковая запись пока в зачаточном виде, не надо его использовать для этого)
AZ
я видел такую логику:
- если датабрикс - дельта
- если нужна потоковая запись и апсерт - худи
- для больших (объем и номенклатура) даталейков - айсберг
- если датабрикс - дельта
- если нужна потоковая запись и апсерт - худи
- для больших (объем и номенклатура) даталейков - айсберг
T
О я вчера точно к тому же выводу пришел
AZ
ну и плюс айсберг потихоньку получает хорошую поддержку AWS, уже Glue и Athena с ним работают, у Google в Dataproc он есть в образе (дельта там тоже есть, но худи они выкинули)