Подскажите куда копать. Вычитываю большой csv из hdfs, прежде чем начнётся обсчет по партициям и по всем свободным ядрам, несколько минут идёт загрузка в 1 ядро (Мониторю на ганглии). При этом минимальный сетевой трафик бегает (опять же по ганглии). В джобах на web в спарке значится как завершённое чтение csv. Но по логам вижу что до следующей стадии ещё не дошёл. В логах, служебка бегает об аккумуляторах, да про броадкаст частей. Что под капотом происходит, можно ускорить процесс?

Может схема определяется ?

Inferschema если в true, то он читает ещё весь файл что бы определить схему

Да, тоже об этом подумал. Так он в одно cpu это проворачивает?

окей, понял

Почему весь? Сэмпл же берётся

Нет. Он весь читает . Мы тут разбирали это.

samplingRatio – defines fraction of rows used for schema inferring. If None is set, it uses the default value, 1.0.

Ммм, вкусняшка

А почему в одно ядро? Файл меньше размера блока?

У меня жирный csv (> 10.000cols), может в этом быть причина?

Кто вам такой выдал?)

Может проще попинать, чтоб выдали что-нибудь получше?)

аахха, уже раз 10 поднимали эту тему)) Я даже нормальный быстрый melt написал))

Я во всех направления потихоньку ресечу, как ускорить)

Ну, это будет максимально быстро)

Когда уже будут все типы проставлены)

Особенно на 10к колонок

Отключил, таже петрушка. Вот на этом этапе затыкается INFO FileSourceStrategy: Pruning directories with:

А там точно один файл?)