T
Ну то есть просту потом в листбуфер результат на пихать?
Size: a a a
2021 July 08
GP
не понял
GP
в чем вопрос?)
GP
смотри там когда делаешь форич партишен - внутри у тебя итератор
итератор ленив
мап по итератору ленив
форич по итератору жадный
итератор ленив
мап по итератору ленив
форич по итератору жадный
T
Ну смотри мне надо собрать для каждой партиции некий результат и запушить его в другую систему
T
а понял
GP
ага; если ты сделаешь iterator.toList это тож норм будет к слову
GP
если у тебя чтото IO интенсвное внутри такой партиции происходит - т.к. тебе кудато надо пушить
то у тебя CPU скорее всего почти не тратится
нет ничего зазорного чтоб в таком партишене твои риквесты распаралелить
то у тебя CPU скорее всего почти не тратится
нет ничего зазорного чтоб в таком партишене твои риквесты распаралелить
GP
так что смело там можешь норм либы испольлзовать) и паралельно обрабатывать итератор
T
у меня кстати падает но там не понятно либо данные не очень либо спарк 3 чудит
GP
хм ясно
GP
а сделай просто iterator.foreach(println)
GP
простой самый
GP
еще может тип не тот конечно
T
Таже ошибка
GP
а сделай на тупом датафрейме
GP
каокмнить
GP
есть репродьюсбл пример?
T
ага щас так и сделаю