N
а у вас же вроде клавудера? туда ещё не подвезли?
Size: a a a
2021 June 10
AE
в хипе конечно. аккуратно надо с бродкастами, они целиком должны помещаться в память как на драйвере, так и на екзекуторах. потому как драйвер их перепосылает по необходимости. всю память сожрать как нефиг делать.
ИК
Спасибо, попробую потюнить. Вообще, я рассчитывал, что BroadcastRelation будут и создаваться по мере необходимости, но в едином плане они появляются все вместе. Обидно, придётся делать шаг назад
AE
и то что на диске занимает пару сотен метров, в памяти может весить пару десятков гигов легко
AE
в зависимости от того во что оно у тебя десериализуется/материализуется
AZ
меня почти наняли для бенчмарка на среднем размере кластере (800-1000 бареметал узлов), но не срослось 😞
ИК
Это да, коэффициент сжатия может удивить
ИК
RDD[UnsafeRow]
AE
это весьма жирно. бродкаст висит в памяти в десериализованном виде, готовый к потреблению
ИК
Спасибо, продолжу кодить)
AE
тут надо ответить на вопрос, а прямо ли уж так надо в каждый екзекутор посылать вообще всё?
AE
у меня вон тоже есть пара алгоритмов, где изначально возник соблазн запульнуть бродкаст на 500М записей в пяток стейджей. пришлось поизвращаться с кастомными сортирующими партиционерами и zipPartitions, потому как см. выше
AE
ну и .repartitionAndSortWithinPartitions не просто так существует
AB
небольшой наброс - если бы вам предложили data lake делать - в моём понимании там должен быть SQL интерфейс для аналитиков, какой бы вы взяли движок и хранилище? hadoop + spark ? что-то новее есть? big table?)
N
Teradata
GP
это ж старее
N
ну вроде ж держит себя в форме, ходит на фитнес, делает пластику.
GP
скок старье не обновляй все старье)
AZ
даже куски радикально переписываются)