Он должен быть одинаковый на локальной машине и на нодах кластера

Путь к спарк хоум

Да прост включите ноут в кластер эджнодой, чё уж там😆👌

а что, вариант 🙂

Supports Spark 2.3 and up.
   Enables declarative application specification and management of applications through custom resources.
   Automatically runs spark-submit on behalf of users for each SparkApplication eligible for submission.
   Provides native cron support for running scheduled applications.
   Supports customization of Spark pods beyond what Spark natively is able to do through the mutating admission webhook, e.g., mounting ConfigMaps and volumes, and setting pod affinity/anti-affinity.
   Supports automatic application re-submission for updated SparkAppliation objects with updated specification.
   Supports automatic application restart with a configurable restart policy.
   Supports automatic retries of failed submissions with optional linear back-off.
   Supports mounting local Hadoop configuration as a Kubernetes ConfigMap automatically via sparkctl.
   Supports automatically staging local application dependencies to Google Cloud Storage (GCS) via sparkctl.
   Supports collecting and exporting application-level metrics and driver/executor metrics to Prometheus.

Вот скажите известный проект tungsten . Он в какой момент работает?  Вот я задумался, что может он работает только тогда, когда что то щакешированно

Понял так, что hashMap они свой сделали.  В этом и есть смысл основной .

Я вообще всегда считал, что Tungsten - это про оптимизацию представления данных, т.е. правильно хранение и передача типов, и в моей голове это работает только при типизации, т.е. в датасетах

Когда строится джойн или агрегация происходит. Нужна как раз ,hashMap

Однако написано, что Tungsten - это еще и Whole-Stage Code Generation. А whole stage code gen - это любое вычисление на Spark SQL

Это если broadcasthashjoin используется. А алгоритм слияния по-умолчанию в спарке - SortMergeJoin

А что, тунгстен до сих пор существует? Он разве не превратился в каталист?

Есть ещё shuffle hash join ( это который не broadcadt)

Это и есть сортмёрдж

Не. Это третий способ , который как раз дефоултный. Всего их 3. Broadcast, sort merge, shuffle hash join

Ещё nested loop join есть)

Tungsten сильно спецплен с кодогенерацией. По сути кодогенерация "ходит" именно в этот бинарный формат за данными.

Нестед луп ест в базах. Обычно в нем используется индекс.