Данные есть, показал первые 10 строк и стоблцов в виде датафрейма

Она в данный момент построена в виде вью на клиенте, костыль жестокий

Сервер бейз роутинг чтобы клиент один и рулило уже на сервер пилят уже хз сколько, вот в 3.2 он был совсем бета, в 3.3 вроде как бета чуть лучше

У нас партишн прунинг адекватно сейчас не работает

Непонятно почему , условно soark.read.parquet("").where('partition === "202010132") драйвер подыхает

Над вспоминать уже как там и что )

так он же пойдет в NN узнавать как там че чтобы этот фильтр применить.

ребят всем привет. Какие на сегодняшний день требования по скилам к junior data engineer ?

если там дофига всего, так ему и будет плошать

пиши spark.read.parquet(‘/cool/tele/2/partition=202010132‘)

Ну да понятно,  оч надеялся , что эвристика есть уже

Потому что там явно ток лист директории нужен

В 3 вроде завозили динамик портишон прунинг

Вот чот не работает

Но я пока не ковырял

добрый вечер. Задача по Hadoop: в hdfs есть каталог с политикой Erasure Coding и как написано в документации, внутри данного каталога нельзя использовать команду append(). Как в этом случае дописывать в уже имеющийся файл? Или может есть другой способ добавления информации в данный каталог? Просто информация в него будет добавляться малыми частями и создавать каждый раз новый файл, точно не вариант. Спасибо за ответы.

Append и в обычной репликации не нужен, пишите новый файл в директории и все

проблема в том, что данные читаются с кафки, в кафке очень много файлов, но они очень мелкие

если каждый раз создавать новый файл, тогда каталог просто забьётся тысячами файлом по 10МБ грубо говоря

Append каждый раз создаёт вам новый блок, проблема мелких блоков не исчезает, это надо изначально по-другому делать

если дописывать в уже имеющийся файл, то это лишь фикция, на деле все равно много кусков, так?