Size: a a a

2021 November 15

SK

Sergej Khakhulin in Moscow Spark
а какое сейчас самое популярно решение с дружбой k8s, spark в клиент режиме и jupyterhub(при учете того что будет более одного пользователя), как резолвят проты для драйвера и прокидывают хостнеймы? есть что почитать про это?
источник

AK

Andrew Konstantinov in Moscow Spark
Привет! Можете накидать каких нибудь презентаций по спарку ?
источник

GP

Grigory Pomadchin in Moscow Spark
Привет, там конфиг есть что б не убивал кубер их на старте
источник

GP

Grigory Pomadchin in Moscow Spark
spark.kubernetes.executor.deleteOnTermination https://spark.apache.org/docs/latest/running-on-kubernetes.html#configuration
источник

GP

Grigory Pomadchin in Moscow Spark
не делить на терминейшене
источник

GP

Grigory Pomadchin in Moscow Spark
Посмотри почему умирают
источник

GP

Grigory Pomadchin in Moscow Spark
Скорее всего проблемы или с сетью (не видят воркеры драйвер) или с имеджем (не тот ентри пойнт)
источник

GP

Grigory Pomadchin in Moscow Spark
фактически другого способа и проще способа чем отконфижить сессию нет
источник

GP

Grigory Pomadchin in Moscow Spark
но я б конечно послушал
источник

SK

Sergej Khakhulin in Moscow Spark
Я видел с Livy что бы не страдать с внутренней сеткой
источник

SK

Sergej Khakhulin in Moscow Spark
Именно это и было
источник

GP

Grigory Pomadchin in Moscow Spark
теоретически внутренняя сетка решается 1 раз и все
источник

GP

Grigory Pomadchin in Moscow Spark
Там не до страданий
источник

GP

Grigory Pomadchin in Moscow Spark
а как ливи помогает не страдать?
источник

SK

Sergej Khakhulin in Moscow Spark
Ну вот у меня не вышло😁
источник

SK

Sergej Khakhulin in Moscow Spark
Типо есть плагин Спарк маджик
источник

SK

Sergej Khakhulin in Moscow Spark
И типа все из коробки
источник

GP

Grigory Pomadchin in Moscow Spark
что значит ‘все’?
источник

GP

Grigory Pomadchin in Moscow Spark
типо он сам в кубер апи конектится и сам поды пускает и все межик?
источник

GP

Grigory Pomadchin in Moscow Spark
Или в чем разница
источник