I
логика фильтрации не совсем тривиальная
Size: a a a
2021 March 04
R
Мы же в своих тестах пришли к тому что это никак особо на перфоманс не повлияло. Конфигурация была 300 экзекьюторов на террабайтный датасет
Если у вас мало шафла(джоинов, оконных функций и так далее), то, скорее всего, разницу не заметите между одним ядром на экзекьютер или n ядер.
I
Наверное вы правы :) Шафлов не было. Все трансформации - narrow
R
Один из основных(а может и самый основной) выигрышь при использовании нескольких ядер на одного экзекьютера - это ведь сокращение шафла, точнее сокращение передачи данных по сети. Если есть ещё какие-то важные нюансы, то напишите, коллеги)
I
Ну вот да эти ж JVMки будут между собой общаться по сети даже если они на одной машине физически
AE
угу, чем меньше шафлов, тем меньше ядер на екзекутор дают лучшую скорость
AE
оптимизировать можно по-всякому, но лучше всего сам расчётный код
R
Ну вот да эти ж JVMки будут между собой общаться по сети даже если они на одной машине физически
"JVMки" почему во множественном числе? У вас же в один экзекьюетер, просто он в паралель лопатит столько тасков, сколько ядер вы на него выделили.
AE
хотя конечная цена оптимизированного кода сильно выше чем цена тюнинга железа, даже виртуального
I
Ну я имел в виду если взять 5 ядерную машину и выставить 1 ядро на экзекьютор - получится 5 джвм isn't it?
I
хотя конечная цена оптимизированного кода сильно выше чем цена тюнинга железа, даже виртуального
depens on обьемы данных
AZ
и архитектуры :(
R
Ну я имел в виду если взять 5 ядерную машину и выставить 1 ядро на экзекьютор - получится 5 джвм isn't it?
да, если кол-во экзекьюеторв будет 5.
I
Раз уж пошел такой разговор. Кто-то пытался dataframe в параллель процессить?
AE
да и разработчики, которые могут писать на спарке без spark.sql, стоят дороже, чем те кто пишут на spark.sql
I
грубо говоря есть
df.persist()
[1,2,3].parallel.map( process(df))
AS
грубо говоря есть
df.persist()
[1,2,3].parallel.map( process(df))
а зачем, легче в mapPartinions это делать
I
Ну вот кейс был такой.
Есть инфа про всех клиентов - надо ее отфильтровать по-клиентно и сложить в их папки.
Есть инфа про всех клиентов - надо ее отфильтровать по-клиентно и сложить в их папки.
I
клиентов - до 6000
AE
ну, можно ж партиционировать поклиентно, например