GP
Если партиция не в оффхипе - какая разница какого она размера? Всё равно надо всё регионы помаркать свободным
во время шаффла спарк шлет партиции
Size: a a a
2019 August 25
GP
чем меньше кусочки
GP
тем проще
GP
GP
не знаю о чем ты писал но я про это упомянул размер партции и почему они маленькие обычно
ПФ
Ага, я понял
ПФ
Это же объясняет почему сериал не смотрели
ПФ
Решили что если приложение пересылает данных больше чем хип - то сериал будет съедать всё время исполнения
ПФ
Потому что постоянно будет слишком много мусора
GP
Это же объясняет почему сериал не смотрели
думаю потому что паралелизм в их случая большой и на каждом ехекуторе мног отасок раниться может
GP
и им не выгодно ждать компакшена после каждого гц
GP
но я хз чс гвооря
GP
я не пробовал вообще сериал со спарком; казалось глупо
GP
Решили что если приложение пересылает данных больше чем хип - то сериал будет съедать всё время исполнения
да мне кажется так и будет
GP
обычно поэтому даже параллел используется а не смс
GP
на джобах которые не бесконечные
ПФ
Ну это пофиг, в рамках одной жвм сериал всегда будет быстрым. Ну да, у них больше гц рутов, но и фиг с ним, всё равно математика очень простая. А вот то что в памяти много мусора - это проблема
GP
ну у тебя мног ообектов и преша большая
