SI
Да, но в момент записи файла сплит может попасть на середину строки, разве нет?
Size: a a a
2021 August 01
А
Речь выше шла про чтение
SI
Не, речь шла про запись одного жирного csv файла на HDFS, где размер файла больше размера блока
ПФ
Как это фищичски работает с орками я пони. А вот с csv — нет
ЕГ
Ищется пробел где-то в районе 128 мегабайт
ПФ
Да и с чтением нетривиально — надо каким=то образом распределённый консенсус о том, кому принадлежат пересекаюшиеся строки
ЕГ
Fseek в хадупе работает
ПФ
не так просто — значение в csv имеет право иметь перенос строки внутри
ПФ
надо полноценный парсинг csv
ЕГ
С таким по-моему спарк так себе работает
ПФ
ну давай проверим штоль
ЕГ
Но конкретно как появляется инпут сплит из цсв, можно попробовать в коде найти
ЕГ
По-моему это ещё хадуп до спарка умел делать
ПФ
Это реализуемо, но потенциально может создавать ошибки, я бы ожидал что такого не будет
ЕГ
Вот если один цсв в гзипе, тогда сорян, только весь файл в одну партицию, а так нет, вполне должен делиться
ЕГ
Наверно он ищет несколько строк, чтобы не нарваться на экранирование
ПФ
Seq(("a", "b"), ("""aaa
aaa""", """bbb
bbb""")).toDS()
.repartition(1)
.write
.csv("/tmp/test")вот такое работает как ожидалось — создаёт переносы строк
ПФ
Там так просто не отделаешься, реально парсить надо
ПФ
> cat /tmp/test/part-00000-66e518ef-abb4-4905-a7e4-d12302c9f94e-c000.csv
a,b
"aaa
aaa","bbb
bbb"
ПФ
И их может ьыть сколько угодно потенциально