I
а если есть jar файл нужного интерпретатора? его через консоль ноды ставить где крутиться сам zeppelin?просто понять суть процесса
Size: a a a
2021 October 08
ЕГ
Хз, так не делал
АШ
jar на самом деле не нужен. артефакт подтянется из maven central
I
но эту процедуру же тоже над делать через консоль? не через веб zeppellin?
ЕГ
Это если есть инэт/нексус на кластере😆
АШ
Да, через консоль.
Если веб, то можно попробовать поставить через helium. Правда, я так никогда не делал. Но в гелиуме есть список интерпритаторов, может сработает)
Если веб, то можно попробовать поставить через helium. Правда, я так никогда не делал. Но в гелиуме есть список интерпритаторов, может сработает)
OI
@tenKe @pomadchin небольшой апдейт по проблеме: коллега нашла вот такую историю
https://issues.apache.org/jira/browse/SPARK-36476?page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel&focusedCommentId=17397126#comment-17397126
https://github.com/cloudpipe/cloudpickle/issues/393
И предложила сделать так:
и оно работает. Катить такое в прод я не готов, но выглядит так, что как-будто это какой-то баг в зависимостях.
Попробую собрать с питоном 3.8 (где-то там написано, что для него работает) или spark 3.1.2 на java 8
https://issues.apache.org/jira/browse/SPARK-36476?page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel&focusedCommentId=17397126#comment-17397126
https://github.com/cloudpipe/cloudpickle/issues/393
И предложила сделать так:
import dill
dill.extend(False)
from pyspark.sql import DataFrame, SparkSession
from pyspark.sql import functions as f
from pyspark.sql.types import LongType, StringType, StructField, StructType
dill.extend(True)
и оно работает. Катить такое в прод я не готов, но выглядит так, что как-будто это какой-то баг в зависимостях.
Попробую собрать с питоном 3.8 (где-то там написано, что для него работает) или spark 3.1.2 на java 8
GP
а разве спарк 3.1.2 не с 3.8 петоном?
OI
ну у них в докерфайле вообще красиво
RUN apt-get update && \
apt install -y python3 python3-pipOI
но там же с каким питоном соберёшь, с таким и будет?
GP
я думал петон хоста использует)
GP
что ему дадут то и будет
OI
ну по идее да
я 3.7 давал)
я 3.7 давал)
GP
а ну да
GP
если собирать значит собрать докер имеж то норм
GP
GP
ну и оставь ждк 11
GP
для эксперимента
P
Всем привет! Подскажите, есть ли какие-нибудь опен сорс сборки со всеми сервисами? HDFS, Impala, Hive, Kafka ?
cloudera раньше предлагала VM, но сейчас уже нет, а в докере QuickStart обновлялся 5 лет назад :(
лень устанавливать и настраивать, но хочется начать изучать..
что можете порекомендовать?
Может есть iso-шка где-нибудь магическая ?)
cloudera раньше предлагала VM, но сейчас уже нет, а в докере QuickStart обновлялся 5 лет назад :(
лень устанавливать и настраивать, но хочется начать изучать..
что можете порекомендовать?
Может есть iso-шка где-нибудь магическая ?)