A
в контейнере где будете запускать ядро со sparkmagic должен находиться токен от кербероса
а вот как его инжектить это уже отдельные танцы
а вот как его инжектить это уже отдельные танцы
Size: a a a
2021 July 30
М
вот я сейчас на этом моменте, не понятно зачем там 2 кейтаба? я сформировал 1 кейтам туза с прокси.юзером. При подкладке ругается на инвалид роль. Думаю проблема в krb5.conf в поле auth_to_local. Но пока не понял как ее продебажить
М
Это я про spark-livy. До запросов от пользователей пока не дошел)
A
у нас примерно как тут написано сделано
https://www.slideshare.net/SparkSummit/secured-kerberosbased-spark-notebook-for-data-science-spark-summit-east-talk-by-joy-chakraborty
со своими нюансами
https://www.slideshare.net/SparkSummit/secured-kerberosbased-spark-notebook-for-data-science-spark-summit-east-talk-by-joy-chakraborty
со своими нюансами
М
Спасибо, гляну
AN
Привет всем. Может кто подсказать - чем грозит выкручивание параметра spark.memory.fraction с дефолтных 0.6 в 0.9 или даже в 1?
VI
Всем привет. Как победить ошибку memoryOverhead? Параметр memoryOverhead выставлен в 30% от параметра executor.memory. пробовал и 50% не помогает.
ЕГ
Лучше таким способом не пытаться побороть оом, нужно разбираться, почему конкретный запрос падает по памяти
ЕГ
Например, если у вас джойн с шаффлом на 10тб, а вы его пытаетесь в 200 партиций выполнить, то будет оом
VI
Можете подробнее объяснить, что делать. Или может знаете, где про это можно почитать ?
VI
И вопрос что подразумеваете под партицией ? На сколько частей разбита таблица или все же в прямом понимании partition by (date) ?
ЕГ
На сколько частей
ЕГ
У вас большой джойн?
VI
5 таблиц
VI
Одна из них 2.9тб
VI
Остальные поменьше
VI
Большую таблицу с фильтром вынес в блок with as
ЕГ
Это в hdfs столько весит?
ЕГ
Какие ресурсы на кластере?
ЕГ
Меняли параметр spark.sql.shuffle.partitions?