GP
дженерик прост подход ему разницы особо нет хранить копию в памяти или на диск блоки кинуть
Size: a a a
2019 April 11
N
А почему такой код вообще должен быть? Ведь партиция уже в памяти у моменту персиста. Дальше осталось её не эвиктить при отсутствии места
Если после этого сразу идёт map, то он же должен создать новый кусок памяти т.к map поменяет записи
GP
Nikolay
Если после этого сразу идёт map, то он же должен создать новый кусок памяти т.к map поменяет записи
у тебя ленивый даг получается
он заперсистит тока последний вариант перед коллом персиста
он заперсистит тока последний вариант перед коллом персиста
GP
распиши по разным строчкам; тебе не обязательно синглайнейр использовать при написании кода; да и как ты видишь колл персиста анперсиста мутабельный, тяжело понять суть вопроса
GP
раньше мне кажется persist и cache юнит возвращали
N
у тебя ленивый даг получается
он заперсистит тока последний вариант перед коллом персиста
он заперсистит тока последний вариант перед коллом персиста
Это внутри одного стэйджа. Если другой стэйджа пошел? Вот он заперсистил. Потом я сделал sort, а после sort пошел опять map
N
Все, что после сорта. Это же уже в другом stage будет.
GP
Nikolay
Это внутри одного стэйджа. Если другой стэйджа пошел? Вот он заперсистил. Потом я сделал sort, а после sort пошел опять map
я не понимаю, что написано) и как это к блок менедежру имеет отношение
ZM
Nikolay
Это внутри одного стэйджа. Если другой стэйджа пошел? Вот он заперсистил. Потом я сделал sort, а после sort пошел опять map
так, а с персистом эта реплика как связана?
GP
ну тип ты такой менеджер ок да
увидел блок
он отмечен сторедж левелом отмеченым от нона
сделал копию
номера блоков и имена запомнил записал
драйвер типа знает как поулчить их чтоб не вычислять опять
увидел блок
он отмечен сторедж левелом отмеченым от нона
сделал копию
номера блоков и имена запомнил записал
драйвер типа знает как поулчить их чтоб не вычислять опять
N
Я сделал персист. Внутри этого stage данные положили в память. Дсе, что после этого персист могут юзать эту память, то потом в другом stage что будет?
GP
вся джоба может использовать рдду после персиста
GP
какая разница что у тебя дальше в физ плане вычислятся будет
GP
не понимаю вопроса все равно
GP
стейдж твой - сет тасков
если ты в них ссылаешься на персисченую рдду то в них она переиспользоваться будет
если ты в них ссылаешься на персисченую рдду то в них она переиспользоваться будет
GP
чо ты хочешь то?)
N
Понять . Как persist между stage работает.
N
В другом stage уже нет смысла обращаться к первым закешированным данным.
GP
Nikolay
В другом stage уже нет смысла обращаться к первым закешированным данным.
почему?