ЕГ
Регистрация UDF для spark-sql
Size: a a a
2021 May 19
ЕГ
Если бы броадкаст ещё работал😆
ЕГ
А то спарк такой "нууу у тебя же тут 85 партиций, я не буду это броадкастить, ну и что, что ты написал броадкаст, а в табличке тыща записей"
N
Типизация и её влияние на серде тайм.
N
Маппортишон для обогащения на внешнем источнике.
V
Salting
AB
👍придётся ещё самому почитать ахах
ЕГ
О, кстати, сокращение времени за счёт селекта нескольких колонок из широкого орка/паркета
AB
ну это да, в плане UDF это я и имел ввиду, хотя это какая-то боль честно говоря и так лучше не делать...
N
Ну тут надо сначала начать, зачем это воротится то всё.
AB
какая-то джедайская техника
ЕГ
Бакет сохранение и джойн можно посмотреть
V
Расскажи про работу с физ.планом запроса, тюнинг конфига сессии, имхо это полезно для начинающих)
V
Согласен)
AB
физплан может быть, на счёт тюнинга конфига - это немного не про SQL кажется, может потом им расскажем
так уж вышло что чуваки изучают Spark не зная SQL от слова совсем
так уж вышло что чуваки изучают Spark не зная SQL от слова совсем
V
Печаль
N
Неправда. Не всегда и иногда по-другому никак, встроенных функций на всё не хватает. Байтовые массивы отлично разбирает.
AB
не спорю, иногда надо, но если можно избежать - стоит избежать, обычно
особенно в ограничениях pyspark
особенно в ограничениях pyspark
ЕГ
Вообще для начала про синие кубики на вкладке sql рассказать, и как они мапятся на стейджи
N
Открой любой спарк даг, там 80% это маппартишоны всякие.