ПФ
Сериал в статье вообще не рассмотрен :(
Size: a a a
2019 August 25
ПФ
И ещё там только RDD, но до них ещё надо дойти если мы говорим про датафреймы и датасеты
GP
И ещё там только RDD, но до них ещё надо дойти если мы говорим про датафреймы и датасеты
рдд это примитивы уже выполнения физ плана
ПФ
Там STW выставлен как абсолютное зло, тоже не очень понимаю почему. STW плох когда у тебя клиент ждать не должен - веб и всякое такое. А чем он плох в spark джобах?
ПФ
рдд это примитивы уже выполнения физ плана
Я правильно понимаю что как бы я ни писал - сначала моё приложение превратится в план выполнения на RDD, а только потом уже будет выполняться?
GP
Я правильно понимаю что как бы я ни писал - сначала моё приложение превратится в план выполнения на RDD, а только потом уже будет выполняться?
Да, оптимизированный логический план грубо говоря в рдд транслируется
ПФ
Тогда пофиг что происходит на уровне скалы, да. Это первые секунды исполнения
GP
Почему грубо - потому что немного по-разному сериализация случается
GP
да тут важнее что между нодами в итоге будет слаться
ПФ
да тут важнее что между нодами в итоге будет слаться
Кажется тут ничего не зависит от гц. То есть если мы переслали 20 гигов - то мы их переслали
GP
Кажется тут ничего не зависит от гц. То есть если мы переслали 20 гигов - то мы их переслали
зависит Скока чистить будет из партиции.
GP
он отдельно дергает гц по окончанию жизни партиции
ПФ
О чём ещё подумал: так как вообще-то говоря на RDD существует очень ограниченное количество операций - они должны очень хорошо оптимизироваться pgo
ПФ
он отдельно дергает гц по окончанию жизни партиции
В смысле дёргает? Зовёт System.gc()?
GP
В смысле дёргает? Зовёт System.gc()?
Да
ПФ
Ну это не гарантия ничего. Gc не обязан выполняться и с большой вероятностью не выполнится нормально
GP
О чём ещё подумал: так как вообще-то говоря на RDD существует очень ограниченное количество операций - они должны очень хорошо оптимизироваться pgo
да, но в случае если тебе надо десериализлвать 100% инфы погружённой в память спарка
GP
Ну это не гарантия ничего. Gc не обязан выполняться и с большой вероятностью не выполнится нормально
да
GP
Но, факт что партиции чистить надо
ПФ
Более того, кажется как раз шенанда этот вызов игнорирует