Скомпилировал 3 джара из исходного кода: саму библиотеку, расширение для geojson и функций хайва. Распаковал все джары и запаковал в один, потому что в синтаксисе импалы create function вроде можно только один джар прописать. Только 4 функции не создались из 84.

А они есть в сорцах?

Да. В гитхабе есть, проверил в общем джаре через zipgrep - класс существует

Коллеги, кто использует k8s spark operator?
Какие есть способы дождаться выполнения джобы(batch) при деплое через helm?

wait loop через describe?

ты имеешь ввиду в консоли откуда засабмитил?

Угу

spark.kubernetes.submission.waitAppCompletion

оператор держит ключ

Хм, посмотрю

Мужики подскажите по ярну по очередям.
Есть HDP 3.1, есть Yarn, там Capacity Scheduler.
Pre-emption: true
Там допустим есть 2 queues: root.Q1, root.Q2
Q1:
absolute capacity 60%
max capacity 100%
priority 1
Q2:
absolute capacity 40%
max capacity 50%
priority 0

Изначально:
free resources 100%, Q1 0%, Q2 0%
запускаю на 50% на Q2,  итого
free resources 50%, Q1 0%, Q2 50%
запускаю на 60% на Q1, ожидаю
free resources 0%, Q1 60%, Q2 40%, получилось
free resources 0%, Q1 50%, Q2 50%
-  Почему Q1 с большим приоритетом (вроде) не забирает часть ресурсов (убивает контейнеры) у Q2 ?

Очень круто

Heru Mondal has been banned! Reason: CAS ban.

чот не понимаю куда его вставить

а ты как сабмитишь?

на Гугл облаке?

helm/kubectl

угу, в gke

kubectl get --watch --watch-only events --all-namespaces --field-selector involvedObject.kind=SparkApplication --field-selector involvedObject.name=me-spark-job |  grep -m 1 SparkApplicationCompleted
вроде таким залечил