ЕГ
Конфиг прям в функцию прописывается
Size: a a a
2019 August 09
AZ
у пайспарка беда с безопасностью
ЕГ
А спарк в принципе уже на нодах везде есть, поэтому я просто прописываю spark_home
A
Евгений что делать если нужно много версий разных держать?
AZ
там либо надо выдать китаб каждому пользователю, либо всех запускать от имени одного пользователя, оба варианта плохие
ЕГ
Но бывает, что импортируют pyspark.sql.* до того, как запустят мою функцию, которая всё настраивает
AZ
у варианта спаркмэджик + ливи можно имперсонировать пользователя нормально
ЕГ
И тогда если уже установлен другой спарк из пипа на клиенте, вылезают ошибки
ЕГ
Потому что импортировалось одно, а на нодах другое
ЕГ
Спаркмэджик какой-то кривой, как мне показалось
ЕГ
У меня получилось создать две сессии из одного ноутбучика
A
ну … =) костыли они везде есть
AZ
Евгений Глотов
Потому что импортировалось одно, а на нодах другое
кмк вы не очень точно представляете как yarn работает, там конфиг с клиента используется экзекьютором уже на любой ноде, и все дальше работает так как указано на клиенте в момент запуска
ЕГ
там либо надо выдать китаб каждому пользователю, либо всех запускать от имени одного пользователя, оба варианта плохие
Мы кинит делаем каждый раз...)
AZ
Евгений Глотов
Мы кинит делаем каждый раз...)
жуть какая)
ЕГ
Да не может оно так работать, код другой в класспасе
AZ
Евгений Глотов
Да не может оно так работать, код другой в класспасе
ну вам виднее)
ЕГ
Ну короче мы кучу багов на этом словили
ЕГ
Когда кто-то пип инсталл пайспарк делает в общее окружение)
A
Евгений Глотов
Да не может оно так работать, код другой в класспасе
может не стоит спарк в класпас для ярн нод добавлять? =)