т.е. изначальная коллекция меняется? если нет то проще то один раз её создать (импортировать, сохранить) и итерировать её

тогда следующий партишен не узнает об этом 0

такого не должно быть, если что, это поймает технический контроль данных и завершит приложение с сответствующим исключением

0 не должно быть в конце партишена?

интересно

не должно, если так есть, то это считается ошибкой и продолжение работы приведет к порче данных

можно както в идеевские скратчи подтягивать либы проекта?

да, в скретче, как и в любом воркшите можно указывать модуль

меняется, да. Вначале, когда все было на датафреймах, не было таких проблем (другие проблемы, конечно, были)), но я захотел лучшего, стал переносить обработку в собственные структуры и классы и обнаружил, что партиционирование rdd партишенером из двух строк почему-то заметно дольше выполняется, чем то же партиционирование датафрейма, а там еще и Murmur3 вычисляется и тасков больше, чтобы снизить вероятность коллизии.
Сейчас пытаюсь понять, есть ли положительный эффект на производительности, если интересно, то напишу результат, когда он будет

тогда вот так. по идее reverse не должен давать лишнего оверхеда, как было бы с обычным листом. к тому же, стрим задепрекейтили, и рекоммендуется использовать LazyList

https://scastie.scala-lang.org/ElijahLaMoon/SOz6nSvnRPSpgoV4YDazeg/28

там 2.11

а, ну земля пухом

reverse даст, конечно оверхед

тогда стрим

он вынужден всё в память выгрузить

если вызвать reverse на LazyList, то он его не выгрузит в память

или это позже происходит просто?

эта реализация не O(1) от памяти

она накапливает

выгрузит