ЕГ
🤔
Size: a a a
2019 August 09
AZ
одна из прелестей oozie - он использует для хранения всех артефактов hdfs, а для запуска yarn, а не требует как некоторые (кхе-кхе-эйрфлоу) плодить алтернативный компьют кластер и надежный сетевой сторадж
ЕГ
А если мне из юпитера на питоне надо сессию поднимать
AZ
какой кернел?
AZ
и какой spawner?
ЕГ
Получается, просто полный пакет spark.jars прописать
A
Евгений Глотов
А если мне из юпитера на питоне надо сессию поднимать
A
sparkmagic + livy
ЕГ
Кернел питон 2/3
AZ
для него надо ливи поднять
A
так как многие oozie spark джобы закинулись и забылись,
то сейчас в проде точно больше 5 разных версий крутиться (начиная с 2.2 и до 2.4)
то сейчас в проде точно больше 5 разных версий крутиться (начиная с 2.2 и до 2.4)
ЕГ
Это криво работает
AZ
Евгений Глотов
Кернел питон 2/3
то есть pyspark для связи со спарком?
A
для pyspark там пару доп параметров какой питон использовать и всё, сам конфиг почти такой же
ЕГ
У меня прям из кода одной функцией всё настраивается и поднимается сессия
AZ
Евгений Глотов
У меня прям из кода одной функцией всё настраивается и поднимается сессия
поднимается какая сессия-то?)
ЕГ
SparkSession.builder.getOrCreate()
AZ
pyspark то есть
AZ
вам нужно туда где у вас ноутбук спонится положить клиента и конфиг, если например докер/куб то можно в образ
AZ
для спаркмэджик нужно будет поднять ливи отдельным сервисом, но тоже никто не запрещает иметь отдельные ливи для всего