GP
видимо сатанситы испольлзуют такую же терминологию, тока так я могу объяснить что они даблят потребление памяти постоянно везде
Size: a a a
2019 April 11
GP
Anton Alekseev
++++ на личном опыте подтверждаю, но я исправился))
: D
N
Вот я написал persist. Если открыть его код, то он не создаёт новую rdd. Он сохраняет уровень персистита в текущем rdd и его же возвращает.
GP
Nikolay
Вот я написал persist. Если открыть его код, то он не создаёт новую rdd. Он сохраняет уровень персистита в текущем rdd и его же возвращает.
это уже гуглится
GP
в чем вопрос то
N
Он возвращает self. Сам персист выполняется на экзекьюторе. И вот вопрос в каком именно месте. Вот в моем случае от выполнится в map?
N
В какой именно трансформации будет сохранение в память .
GP
яж сказал - последнтй дс/рдд у тебя сохраняется
GP
почему не понятно что последний?
GP
какой должен?
N
Непонятно где именно можно увидеть код, который вызывает запись в память. Вот со чтением из памяти все понятно. Можно это увидеть , а где запись. В каком методе какого класса
GP
Nikolay
Непонятно где именно можно увидеть код, который вызывает запись в память. Вот со чтением из памяти все понятно. Можно это увидеть , а где запись. В каком методе какого класса
GP
смотри все коллы типа put
PK
Nikolay
Непонятно где именно можно увидеть код, который вызывает запись в память. Вот со чтением из памяти все понятно. Можно это увидеть , а где запись. В каком методе какого класса
А почему такой код вообще должен быть? Ведь партиция уже в памяти у моменту персиста. Дальше осталось её не эвиктить при отсутствии места
GP
вообще как вариант! можно посмотреть в рализацию unpersistа
ЕГ
Nikolay
Вот я написал persist. Если открыть его код, то он не создаёт новую rdd. Он сохраняет уровень персистита в текущем rdd и его же возвращает.
Самая фишка, что персист будет выполнен только после вызова действия - сэйв, коллект и т д
GP
анперсист активный в отличии от персиста который просто помечает блоки как те которые менеджером должны быть заперсисчены после выполнения
GP
А почему такой код вообще должен быть? Ведь партиция уже в памяти у моменту персиста. Дальше осталось её не эвиктить при отсутствии места
ну он ж копию должен сделать, или дампнуть на диск куски байтов которые тяжело рекаверабны
ZM
ну он ж копию должен сделать, или дампнуть на диск куски байтов которые тяжело рекаверабны
а копию зачем? (если ты про память)
GP
а копию зачем? (если ты про память)
ну тип ту он зарелизит, а эту будет держать для доступа