Там много чего на фронте считается, вы у себя в скрипте можете посчитать что нужно из данных в API

меня интересует: Вывести таблицей метрики - application name, user, start date, % использование кластера

отсюда получаете и рендерите таблицу (процент использования кластера считайте как хотите, по ядрам, памяти, взвешенно) https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API

там есть кстати clusterUsagePercentage, я не знаю как оно считается

Добрый вечер.
Можно ли задать условие в filter/where строковой переменной?
Т.е. вместо
df.filter($"some_col" === "some_value")
написать
val str = s"???"
df.filter(str)

Почему нет?

я как не пытаюсь - ловлю ошибку парсинга

Какую ошибку?

это то что надо

df.filter("some_col = 'some_value' ")
Должно рвботать без проблеи

Спасибо!)

@zuynew а об'явление о бесплатном курсе по графам знаний и вообще граф бд можно кидать ?

Кидай конечно

Друзья, больше 50 участников откликнулось совместно проходить курс ODS Knowledge Graphs  https://ods.ai/tracks/kgcourse2021 от Михаила Галкина (@gimmeblues) и К. Но никто не откликнулся координировать активность. Поэтому, начнем так,  как делали раньше, а по ходу определимся - как лучше, и координаторы появятся со временем.
1 Телеграм чат @kg_course - специально под этот курс -  присоедияйтесь
2 Начинаем в четверг  28 января в 19.00 по Москве - совместно смотрим лекцию 1 , обсуждаем, знакомимся, решаем как дальше.
3 Ориентировочно - одну неделю смотрим  и обсуждаем лекцию вместе, следующую неделю обсуждаем дз/практику вместе. Ориетировочный день - понедельник 19.00 , четверг занят под основные семинары, кроме ближайшего, где случился форс-мажор и мы займем его под курс
4 Notion - позволяет делать коллективные заметки, хранить материалы - https://www.notion.so/yads/Knowledge-Graphs-Course-2021-312c41e528b247d6921bfaa82bcd99ea
спрашивать Влада - @Boyadzhi для получения доступа
5 видео c анонсом курса - https://youtu.be/L5LPxpM1srA
6 Презентация в сообщении ниже.
PS
Появились каналы - присоединяйтесь - @sberloga - основные эвенты и полезную интересную информацию собираем там; @sberlogajobs - интересные вакансии. Если вы ищете дата сайнтистов - сообщите нам  (Юре -@zabis13) - мы разместим бесплатно.

Спасибо

look for "Working with Updates"

when i paste the emoji it's error

Прошу прощения за ап старого поста, но очень интересно как изменилась ситуация с востребованностью ДЕ за прошедшие два года?

напомните телеграмм группу по спарку?

ну или может тут кто сталкивался с проблемой spark submit

имеется собранная версия на хдфс, в параметрах указываем что нужно использовать её

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --executor-memory 20G --num-executors 5 --conf spark.yarn.jars=hdfs\://nameservice1/user/spark/spark_3.0.1.0_2.12/spark_assembly.jar /tmp/spark-3.0.1-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.1.jar 1000

всё хорошо работает для разных версий в пределах второй ветки
а вот попытка отправить из предустановленного 2.4 спарка третий спарк на выполнение натыкается на то что драйвер стартует как положено
НО на воркерах пустые директории (локализация jar и других файлов не проходит)