всем привет. подкиньте книжку по спарку на питоне пожалуйста

У меня была в электронном виде pyspark  рецепты на английском, попозже могу скинуть

буду признателен)

спасибо, нашел в книгах в тг))

#need help
Язык: Python
Возможно кому-то вопрос покажется тривиальным, но я прям что-то залип и очень нуждаюсь во внешнем совете
Парсю веб морду Ярна(внутри аппдикейшена), на данном этапе получаю стрингу такой структуры:
Class(List({q:1}, {w:2}), List({a:1}, {s:2}), Int, Int)
Как вытащить второй лист джейсончиков?

Небольшой пример
drawApplicationTimeline(
[
 {
   'id': 'executors',
   'content': 2},
 {
   'id': 'jobs',
   'content': 3
 }
], [
{
'className': 'job application-timeline-object running',
 'group': 'jobs'},
{
'className': 'job application-timeline-object succes',
 'group': 'jobs'}
],
1233445,
344
)

Открою секрет, у ярна есть апи

Но через это апи нельзя получить время завершения последней джобы внутри апликейшена

Зато пром может 😬

Что за пром?

Prometheus

Вы какой мдм используете?

Excel 😂

Oracle DRM , 1С (самопис)

Коллеги, помогите с hdfs. Имеем датаноду на 8 железных дисков и диски там разного размера: 6 по 6Тб и 2 по 16Тб (всего 68Тб). Если сделать 8 volume по числу дисков, то hdfs, используя дефолтный алгоритм размещения блоков, будет по round-robin раскладывать данные по дискам и утилизация дисков по %занятого места будет неравномерной. Можно на файловой системе нарезать дисков по 2Тб и сделать 34 volume. Это с одной стороны решит проблему с равномерным заполнением, а с другой всё же 34 директории. Вопрос: Можно ли как-то ещё добиться равномерного заполнения дисков?

Выделить две группы

группы?

dfs.datanode.fsdataset.volume.choosing.policy поставить в Available Space

@dartov спасибо, выглядит как то что мне нужно