ПФ
Для всех популярных форматов несложно прочитать метадату и составить из неё структуру датафрейма
Size: a a a
2021 September 29
ЕГ
.parquet, .orc, .format(...), .load, и т д)
ПФ
Ага, и все они кроме load тривиальные
ПФ
Более того, для всех вот этих csv, orc, json, parquet, avro мы уже показываем схему пользователю
ПФ
Для jdbc это умеет датагрип
ПФ
Сложно конечно если там только в рантайме появляется имя откуда читать
ЕГ
Мне кажется, лучше научить разработчиков с самого начала культурно вынести конфигурацию в отдельный файл
ЕГ
Где будут все инпуты и аутпуты
ЕГ
И из этого за 0.05 сек строится линедж сам по себе без костылей
ПФ
А ещё лучше научить разработчиков без багов писать
ЕГ
Не, ну не до такой же степени😆
ЕГ
Дейкстра сказал: если отладка - это процесс исправления ошибок, то кодирование - это процесс внесения ошибок)
KR
Подскажите, если у меня таблица из 8кк записей(500мб) разбивается на 20 партиций, а количество ядер 144, как лучше поступить?
В конфиге прописано
Макс размер файла 1024*1024*144
В конфиге прописано
Макс размер файла 1024*1024*144
ПФ
repartition 1
ЕГ
Эти настройки чёт нихрена не работают, лучше просто сделать read.(...).repartition(144)
ЕГ
И дальше с этим работать уже
KR
А зачем на 1 партицию бить?
KR
Репартишион как-то долго выполняется
ЕГ
На 500мб данных не должен вроде
ПФ
Ну там 500 метров же, одной ноды хватит, а шаффлов не будет