KS
Эту привилегию всегда делали за меня другие люди, сисадмины. А теперь я сам по себе и приходится во всё вникать самому.
Size: a a a
2021 January 28
AZ
Бояре, встала задача интеграции пайплайнов с оркестрацией и билдами. Первой вехой в моём роадмепе стоит освоение CircleCI. Подскажите что почитать, желательно в контексте DE. Компания оплачивает мне доступ в O'Reilly online и другие системы обучения.
у CircleCI есть документация и примеры, начните с них
KS
Возможно есть какие-то бест практисес для DE.
R
у CircleCI есть документация и примеры, начните с них
+1
тут достаточно документации и сделать пару примеров самому
тут достаточно документации и сделать пару примеров самому
AZ
Возможно есть какие-то бест практисес для DE.
на начальном этапе лучшие практики ДЕ условно совпадает с лучшими практиками СЕ
DZ
Возможно есть какие-то бест практисес для DE.
Они для всей разработки примерно одинаковые
KS
Понятно, спасибо. Начну с официальной документации, а там посмотрим.
A
Подскажите, пжл, квери в Престо (Trino😅) ломаются об
[16777217] Query failed (#20210128_153156_26325_m328m): java.io.IOException: Invalid sync! java.io.IOException: Invalid sync!
Таблица стоит на авро файлах, видимо что-то повреждено. Как найти поврежденный файл?
[16777217] Query failed (#20210128_153156_26325_m328m): java.io.IOException: Invalid sync! java.io.IOException: Invalid sync!
Таблица стоит на авро файлах, видимо что-то повреждено. Как найти поврежденный файл?
2021 January 29
A
The combination of Rust and Arrow also results in much lower memory usage than Apache Spark — up to 5x lower memory usage in some cases. This means that more processing can fit on a single node, reducing the overhead of distributed compute
=/ меньше ешь памяти, значит больше можно на машинку написать, хотя упираешься ты чаще в cpu
=/ меньше ешь памяти, значит больше можно на машинку написать, хотя упираешься ты чаще в cpu
GP
Кто-нибудь пробовал вот эту штуку
https://notamonadtutorial.com/ballista-a-distributed-compute-platform-made-with-rust-and-apache-arrow-5f4d1f51c698
https://notamonadtutorial.com/ballista-a-distributed-compute-platform-made-with-rust-and-apache-arrow-5f4d1f51c698
бывает переодически спарк на расте
помнится был одно время spark rust репозиторий который был пустым
помнится был одно время spark rust репозиторий который был пустым
KS
А в спарке есть оверхед на serde?
A
Смотря для чего
KS
The combination of Rust and Arrow also results in much lower memory usage than Apache Spark — up to 5x lower memory usage in some cases. This means that more processing can fit on a single node, reducing the overhead of distributed compute
=/ меньше ешь памяти, значит больше можно на машинку написать, хотя упираешься ты чаще в cpu
=/ меньше ешь памяти, значит больше можно на машинку написать, хотя упираешься ты чаще в cpu
И ещё наверное меньше ресурсов уходит на SerDe, не знаю сколько это в процентах от общей нагрузки, 2% или 20%, если значительно, то пропускная способность будет выше.
A
В рдд в том виде как его принято считать есть
В датафреймах оно уже над сериализованными блобами операции выполняет, причём часто эти блобы в колумнар формате лежат
В датафреймах оно уже над сериализованными блобами операции выполняет, причём часто эти блобы в колумнар формате лежат
A
Для общения с питон процессами тоже ушли от per object serialization и гоняют тот же arrow
A
:) это из той же оперы как разрабы спарка заявляют: у нас все в памяти
A
Если обратить внимание на пару вещей и молчаливо проигнорировать пачку других, то можно всегда показать свой продукт лучше чем конкурента
GP
Для общения с питон процессами тоже ушли от per object serialization и гоняют тот же arrow
Ну ничего чем родной пикл медленнее нет
GP
Интересный конечно момент это рапидс и жпу с эрроу