ЕГ
В смысле сложно сделать так, чтобы твой сплит был по 3 килобайта и из 100 мегов сразу было 30к партиций
Size: a a a
2021 August 01
ЕГ
Если это нужно для дальнейшей обработки
ПФ
Больше размера блока
SI
HDFS умеет резать parquet на куски по 256мб, при этом каждый кусок это корректный паркет файл?
ПФ
ЕГ
Не, будет один файл, но во много блоков
ПФ
Он разобьёт файл на блоки, которые вместе для нас выглядят как один файл
SI
Но как тогда параллелизм будет достигаться над одним файлом, я не очень пойму
ПФ
Это как сектора на жестком диске, только очень большие и помнить про них неймнода
ЕГ
Ну для спарка они не выглядят как один файл
ЕГ
Они выглядят как куча инпут сплитов
ЕГ
Чем больше файл, тем больше сплитов
ПФ
Паркет умный формат, можно читать страйдами
ЕГ
Хоть он и один
SI
Второй блок этого паркета, скажем, не будет валидным паркет файлом — как экзекьютор его распарсит?
ПФ
А вот в csv так не выйдет
ПФ
За чтение файла в спарке отвечает ридер и вот он может камень параллельность
ЕГ
Футер один у файла, парсить его он будет один раз
NN
В смысле, не очень хорошо?
ПФ
Второй блок - это деталь имплементации, Спарку на неё пофиг, он о ней не знает