СХ
я хочу чтобы фацлы были по 4-8 гб
Size: a a a
2021 June 16
N
ты посмотри сколько было «выходных» партиций. и +- пропорционально уменьши их число.
ME
Можно по числу строк делить
AZ
очень просто: перед запуском джоба ходим в каталог чтобы посмотреть сколько данных прошлый инстанс джоба поставил, считаем оптимальное количество партиций в зависимости от числа экзекьюторов, передаем как параметр джобу
СХ
там каждый день всё записывается в 0
ME
Мы так по миллиону csv делили, чтобы excel открывал
N
там нет линейной арифметической зависимости ибо сжатие
СХ
нам не нужен exel, у нас фуллсканы
N
ну не знаю насчет параметра, объем данных то может меняться каждый раз. можно опираться на примерно одинаковый всегда размер строки.
СХ
то есть сначала берётся данные из флинков, добавляются ещё данные из кафки другой подсистемы, и снова записывается на диски
СХ
размер данных каждый день разный, но в пределах 10-12 тб
N
Я не понимаю, что это значит.
AZ
да, можно прям аналитику небольшую перед запуском делать, учитывать сезонность...
AZ
это же спарк, тут каждый дата инженер сам себе оптимизатор
N
это уже тянет на стартап с бигдатой и машын ленингом
AZ
я видел такую логику перед запуском джоба в самых обычных даталейках, в зависимости от дня недели считали разное число партиций
ME
Взять датасет, поделить на число строк, получить средний размер строки. И от них считать, сколько строк в файл
AZ
короче нужен способ "предсказать" размер выходного датасета, это можно сделать хорошо или плохо, тут уж каждый для себя решает
ME
Если погрешность в сотню-другую мегабайт возможна
AZ
собсно то что оптимизаторы в СУБД делают