GP
для всех апкаминг стейджев у тебя будет эти блоки
Size: a a a
2019 April 11
GP
пока ты ее сам не потрешь
GP
у них идентифкатор есть
GP
по иду ты можешь найти их они уже вычислены
GP
такой супер кеш на предыдущем стейдже у тебя есть который доступен для всех последущих
GP
я тебе говорю глянь в анпресист; т.к. он блокирующий (может им быть); там пример удаления рдд есть из блок менеджера
N
Вот допустим у меня простой rdd. Там 10 рэндомных чисел. Я поставил persist. Он их закешировал в память. Дальнейшем я сортируются их. Сортировка заканчивает текущий stage. Данные упорялоченные после нее и записаны на диск. ? В следующий момент я делаю map. Зачем мне первый cache в это месте ?
GP
Nikolay
Вот допустим у меня простой rdd. Там 10 рэндомных чисел. Я поставил persist. Он их закешировал в память. Дальнейшем я сортируются их. Сортировка заканчивает текущий stage. Данные упорялоченные после нее и записаны на диск. ? В следующий момент я делаю map. Зачем мне первый cache в это месте ?
нет
N
У меня тут 2 stage?
N
А что не так ?
GP
код посмотри; там нет нигде упоминаний стейджей
N
Я посмотрел Даг по порту 4040( в форма html). В и там 2 stage. Могу вечером прислать картинку
GP
но я не вижу противоречий
GP
в любом случае
GP
код то в джобе условно линейный, ветвиться может
GP
стейджи условное деление логического плана
N
Во втором stage зачем ходить в первый кэш. После этого данные уже поменялись ( отсортировались)
GP
ну это ты сам 'идиот' что закешировал не отсорированые