GP
А чего бы на диск не заперсистить?
послушай я сча открыл доку и код; фреймовый чекпойнт другой
Size: a a a
2019 October 14
GP
сейчас попробую просто пример сделать посмотреть; может твои коллеги и правы кстати
GP
получается что у спарка для датасетов, рдд и стримов все по-разному себя ведет
A
послушай я сча открыл доку и код; фреймовый чекпойнт другой
Так вопрос, другой ли чекпоинт, а не персист
GP
я опечатался) чекпойнт*
GP
Так вопрос, другой ли чекпоинт, а не персист
я сейчас просто пример придумал посмотреть и скину его сюда
GP
rdd точно ведет себя через дабл компютейшн
A
я сейчас просто пример придумал посмотреть и скину его сюда
Круть. Спасибо
GP
ну они правы в случае с датасетами, то что ты хочешь это
ds.checkpoint(false)GP
лейзи чекйпонт, который сделается на вычилсении только. тогда он поведет себя как rdd.cache() + rdd.checkpoint()
GP
чекпойнт датасетов также делает транкейт логического плана; eager чекпойнт хоть и делает двйоную работу, зато упрощает логический план.
GP
добавлю в гист тогда принты этого
T
ну я вот в этих ваши интеретах на тыкался что многи пишут что завет, но пока в сорацах не вижу чтобы звал
https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala#L670 нувот если eager = true то еще count позовет
T
лейзи чекйпонт, который сделается на вычилсении только. тогда он поведет себя как rdd.cache() + rdd.checkpoint()
👍
GP
в общем идея гиста это сунуть список в рдд/дс, мапнуть и принатнуть в мап степе чиселки).
т.е. проследить прям из консоли можно будет количество вычислений.
оно конечно прослеживается и в спарк юай) там тоже можно обратить внимание что два раза вычисляет
т.е. проследить прям из консоли можно будет количество вычислений.
оно конечно прослеживается и в спарк юай) там тоже можно обратить внимание что два раза вычисляет
GP
в общем интересное поведение конечно
A
в общем идея гиста это сунуть список в рдд/дс, мапнуть и принатнуть в мап степе чиселки).
т.е. проследить прям из консоли можно будет количество вычислений.
оно конечно прослеживается и в спарк юай) там тоже можно обратить внимание что два раза вычисляет
т.е. проследить прям из консоли можно будет количество вычислений.
оно конечно прослеживается и в спарк юай) там тоже можно обратить внимание что два раза вычисляет
Ну кста у нас как раз чекпоинты по два раза отмечаются в ui.
GP
Ну надеюсь теперь ты знаешь что делать