AA
читаю из hdfs
Я вообще из доков не совсем понял как он читает, сразу по нодам кластера или сперва распаковывает драйвером парсит и разливает.😰 Киньте учебником, Learning
Spark не пролил свет.
Size: a a a
2019 April 15
AA
DG
Тут слишком много вопросов :-)
1. В общем случае, читает по нодам. Но есть нюансы.
2. CSV - не колоночный формат, поэтому читать придеться целиком.
3. Parquet- колоночный. Он рулит за счет чтения не всех колонок, push down predicate и продвинутого сжатия типа delta encoding и прочих.
pandas collect что делает?
Читать можно:
* https://www.oreilly.com/library/view/learning-spark/9781449359034/
* https://www.amazon.com/High-Performance-Spark-Practices-Optimizing/dp/1491943203
1. В общем случае, читает по нодам. Но есть нюансы.
2. CSV - не колоночный формат, поэтому читать придеться целиком.
3. Parquet- колоночный. Он рулит за счет чтения не всех колонок, push down predicate и продвинутого сжатия типа delta encoding и прочих.
pandas collect что делает?
Читать можно:
* https://www.oreilly.com/library/view/learning-spark/9781449359034/
* https://www.amazon.com/High-Performance-Spark-Practices-Optimizing/dp/1491943203
AS
Learning
Spark старая книга, лучше возьми spark in action (как начальную)
Spark старая книга, лучше возьми spark in action (как начальную)
AA
Pandas collect, делаю toPandas, по сути коллект на драйвер и перевод в python Pandas датафрейм, это все.
AA
Как то уж очень быстро для 100 csv отработал.
N
Csv тоже каждому воркеру не нужно целиком читать.
KS
Anton Alekseev
Pandas collect, делаю toPandas, по сути коллект на драйвер и перевод в python Pandas датафрейм, это все.
а какой версии спарк? может там arrow помогает?
AA
а какой версии спарк? может там arrow помогает?
2.4. Тогда непонятно почему он паркету не помогает. Кстати да, не уточнил, pyarrow заэнейблен:)
AA
Можно как-то пробить где партиции расположились? Может такое быть что все на драйвере и он по быстрому их собрал.
AA
Тут слишком много вопросов :-)
1. В общем случае, читает по нодам. Но есть нюансы.
2. CSV - не колоночный формат, поэтому читать придеться целиком.
3. Parquet- колоночный. Он рулит за счет чтения не всех колонок, push down predicate и продвинутого сжатия типа delta encoding и прочих.
pandas collect что делает?
Читать можно:
* https://www.oreilly.com/library/view/learning-spark/9781449359034/
* https://www.amazon.com/High-Performance-Spark-Practices-Optimizing/dp/1491943203
1. В общем случае, читает по нодам. Но есть нюансы.
2. CSV - не колоночный формат, поэтому читать придеться целиком.
3. Parquet- колоночный. Он рулит за счет чтения не всех колонок, push down predicate и продвинутого сжатия типа delta encoding и прочих.
pandas collect что делает?
Читать можно:
* https://www.oreilly.com/library/view/learning-spark/9781449359034/
* https://www.amazon.com/High-Performance-Spark-Practices-Optimizing/dp/1491943203
Получается из-за этого ("читать придеться целиком") такое (одна) количество партиций для одного csv получается, верно?
GP
Anton Alekseev
Можно как-то пробить где партиции расположились? Может такое быть что все на драйвере и он по быстрому их собрал.
глянь сколько партиций у тебя сразу после прочтения csv в твоем дф
AA
глянь сколько партиций у тебя сразу после прочтения csv в твоем дф
Вот это они и есть в табличке.
GP
Anton Alekseev
Вот это они и есть в табличке.
а что значит parts100-split?
AA
а что значит parts100-split?
100 частей - 6 партиций
AA
Один файл на 100 частей поделил
GP
как ты сделал эти 100 частей
AA
Через пандас/numpy и for
AA
for idx, frame in enumerate(np.split(df, 100)):
frame.to_csv('D:/tmp/part_%s.csv.gz'%(idx), compression='gzip')
AA
Блин, мой косяк. Вообщем toPandas вообще фейлился по месту и возвращал пустой датафрейм, и не исполнялся по факту, но ошибку не выбрасывал. Только в джобах на вебморде увидел.