AE
ну я щас пытаюсь слона есть по частям
Size: a a a
2021 January 22
GP
Ну тебе нужна память на сам джесон и на результат его парсинга
толлько на результат самй джейсон это строка
AE
бить на куски, инждексить, и кидать на каждый партишен только свой кусок
GP
бить на куски, инждексить, и кидать на каждый партишен только свой кусок
да
K
толлько на результат самй джейсон это строка
Ну ты делаешь broadcast(string) , у тебя будет этот стринг всегда в памяти , даже когда ты его уже распарсил и результат можно опустить , на каждом эузекьбторе
AE
в итоге екзекуторы проводят в GC 60% времени по логам
A
Ну и смотри , по идее у тебя будет на каждую партию парсинг происходить
нет если запихать в статик переменную, но остаётся вопрос как потом чистить
хотя если он нужен всегда для работы то и хер с ним, вконце просто джоб завершишь
хотя если он нужен всегда для работы то и хер с ним, вконце просто джоб завершишь
GP
Ну ты делаешь broadcast(string) , у тебя будет этот стринг всегда в памяти , даже когда ты его уже распарсил и результат можно опустить , на каждом эузекьбторе
у него проблема что много мелких обектов в памяти
A
(это про запихать это всё в mapPartition)
AE
GP
в итоге екзекуторы проводят в GC 60% времени по логам
ну упрощай фигуры они меньше весить будут
AE
их не просто много, их ахуительно много
GP
и раскидывай по партициям по чутьчуть
AE
так вот, не могу, точность потеряется :(
GP
ну разбивай))
GP
ток так
GP
броадкаст не спасет т.к. у тебя всеравно ж партиции после выполняния операций должны будут очищены
GP
значит им всеравно чистить мусор надо
K
броадкаст не спасет т.к. у тебя всеравно ж партиции после выполняния операций должны будут очищены
Можно сделать что то типа пула
K
Как с кафкой делали