в общем чёт новенькое есть, ну плюс багфиксы

А толку?
В пандас перегоняют же обычно, чтобы в итоге локально обучать модель. А с распределенным что делать?

Тут скорее наоборот, пытаются с пандасов загнать в спарк максимально простыми способами)

А коалас всё?

Ну может куски его сюда впилили как раз

Подскажите, чем можно ограничить место пожиремое ролью hdfs на конкретном узле ? левому софту нужно почти все доступное место на узле, при этом ему нужно что бы у узла была роль hdfs. dfs.datanode.du.reserved тут поможет?

почему пидманул?

всё правильно, стандартная практика, вешать теги rc
если ничего не нашлось критического в этом кандидате то повесить тег релиза

тег v3.2.0 в гите появился

если я правильно помню их процесс:

ставим версию какую нужно релизить (условно 3.2.0)
комит
ставим тег rcXXX
собираем и паблишим на стейджинг сервера
ставим следующую версию (условно 3.2.1-SNAPSHOT)


повторяем множество раз пока не решим что всё ок
если ок то со стейдж мейвена артефакты перекидываются в публичный мейвейн

поэтому версии jar в мейвене обычно имеют таймстамп сборки сколько-то дней в прошлом
а в репозитории много комитов вида

Preparing Spark release v2.4.8-rc3

-  <version>2.4.9-SNAPSHOT</version>
+  <version>2.4.8</version>

тег и следом

Preparing development version 2.4.9-SNAPSHOT
-  <version>2.4.8</version>
+  <version>2.4.9-SNAPSHOT</version>


в какой-то момент это заканчивается очередным

Preparing Spark release v2.4.8-rc4
-    <version>2.4.9-SNAPSHOT</version>
+    <version>2.4.8</version>

на который уже вешается и тег v2.4.8

на этом комите по итогу
tags: v2.4.8-rc4 v2.4.8

hadoop/spark/flink следуют этому подходу в мэйвене

Коллеги, а кто может подсказать курсы для улучшенной подготовки к dp203 сертификации от эйжура?

так вы сделайте на LVM нужные тома для HDFS, и нужные для левого софта

так и сделали, но включение роли тогда забивает hdfs том через край и сыпит ошибками что на ноде место кончилось

балансировщик давно запускали?

балансировщик чего ?

данных по HDFS датанодам

это оно ?
https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hdfs_balancer.html#cmug_topic_5_14

я не знаю какой у вас дистрибутив, это часть ванильного хадупа https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#balancer

ну а оно разве не попробует распределить на эту хитрую ноду столько же данных, сколько поместилось на обычные дата ноды ?