На моенй машине pyspark

Я из шелла на свой машине отправляю команды

это я понял

я не понял работало то как

как ты пришел к выводу что что-то с докером

А, работало так: я на хосте с докером, зашел внутрь контейнера со спарком, и попытался выполнить тоже самое, и он сделал

- ты на мастере с докером зашел в контейнер и выполнил тоже самое и заработало
а ты пробовал на мастере запустить шелл не в контейнере?

я не знаю как у тебя там спарк поднят

если все на хост мапится то скорее всего с докером все ок

version: "3"

services:
 spark:
   image: docker.io/bitnami/spark:3
   environment:
     - SPARK_MODE=master
     - SPARK_RPC_AUTHENTICATION_ENABLED=no
     - SPARK_RPC_ENCRYPTION_ENABLED=no
     - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
     - SPARK_SSL_ENABLED=no
     - SPARK_MASTER_HOST=0.0.0.0
   deploy:
       replicas: 1
       placement:
               constraints:
                       - node.hostname==***
   ports:
     - '8005:8080'
     - '7077:7077'
     - '4040:4040'
 spark-worker-1:
   image: docker.io/bitnami/spark:3
   deploy:
       replicas: 1
       placement:
               constraints:
                       - node.hostname==***
   environment:
     - SPARK_MODE=worker
     - SPARK_MASTER_URL=spark://spark:7077
     - SPARK_WORKER_MEMORY=1G
     - SPARK_WORKER_CORES=1
     - SPARK_RPC_AUTHENTICATION_ENABLED=no
     - SPARK_RPC_ENCRYPTION_ENABLED=no
     - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
     - SPARK_SSL_ENABLED=no

Вот как поднят спарк

Переиспользовал где? В другой джобе? Или в другом стейдже?

Ничего не теснит кх и теперь уже не будет

Чтобы продавать, им надо поправить несколько энтерпрайз фич, начиная от аутентификации и заканчивая оптимизацией запросов через odbc

Мы вот сейчас как раз прикручиваем трино в powerbi и тут сразу много болей...

Но в целом, игрушка классная, мы пока тестируем замену хайв

В другом стэйдже

Зачем? Есть sparksql, hive on tez, hive on spark. Чем не устраивает?

Скорость и sql

Спарк скоростной, но в bi на нем не попишешь