ЕГ
И какой максимальный count(1) group by dt?
Shuffle Read Size / Records 83.9 GB / 3878446519
Shuffle Spill (Memory) 367.9 GB
Shuffle Spill (Disk) 105.0 GB
Size: a a a
2021 August 29
Н
Н
6 млн. примерно
ЕГ
Кстати, репартишен не приводит к записи в папку, он только данные между нодами таскает, папки создаются с помощью
Write.partitionBy(column_name)
Write.partitionBy(column_name)
Н
да я понимаю,
df.repartition("dt").write.save(path, partitionBy="dt", mode="overwrite") все просто делаюЕГ
Многовато, особенно если большой ряд
Н
4 executor 20 core 16G
Н
В моем понимании прочитал за dt=2018-01-01 отпроцессил записал в dt=2018-01-01
ЕГ
20 коре на все 4 экзекутора, или на каждый?
Н
на каждый
ЕГ
Репартишен перелопачивает всё заново
ЕГ
Без учёта того, как оно было до этого
ЕГ
С объёмом оперативки беда на кластере?
ЕГ
16гб на 20 коров это очень мало
Н
Да я просто по вышеупомянутой логике думал взял одну дату и записал
Если не умеет, то попробую запихнуть, как можно больше памяти
Если не умеет, то попробую запихнуть, как можно больше памяти
ЕГ
Стандартный конфиг - 4 гб на 1 ядро
ЕГ
Для 20 ядер можно поменьше
Н
А ты можешь подсказать можно ли как-то оптимизировать эту логику с помощью кода?
Прочитал одну дату -> groupBy -> записал одну дату
Прочитал одну дату -> groupBy -> записал одну дату
ЕГ
Ну, самый простой варик - цикл накидать по датам
ЕГ
Если долго работает - запускать задачи на несколько дат в параллель