Пока оставляю решение с переменной, указывающей на удаление, но на мой взгляд, оно как-то не очень хорошо выглядит, и полагается на строгий порядок обхода элементов в .map

https://scastie.scala-lang.org/UBKUjMZoRKqeUhUZ1AXNWw

И иногда вылетает в тестах (160 итераторов по 800 элементов), но тут может быть проблема в подготовке тестовых данных, а тащить это в scastie как-то неудобно, никто и не посмотрит, наверное

Спойлер: нашел баг в подготовке данных, необходимо поправить, но не сейчас

Всем привет
не знаете, в akka-http-testkit нет механизма тестирования параметров из query string?

Ага, только при ZLayer.fromServices взрывается
Насмерть

я сделал вот так, но для этого поменял итератор на вектор. если это критично, то думаю стоит поискать какое-то другое решение

https://scastie.scala-lang.org/hawWBD1gT3GRlRFZzoQa1A

вроде даже получилось в один проход

Спасибо! Действительно хорошо, и в цикле и без дополнительных затрат, практически.
Тут надо понять вот что: общий объем данных, которые пойдут на вход, может достигать двух терабайт и больше, что довольно много, поэтому использовать структуру, которая должна находиться в памяти полностью - довольно дорого. Я попробую бенчмаркнуть использование Vector, и может быть, подставить вместо него Stream. Сам алгоритм, на мой взгляд, очень элегантный и идиоматичный

Можно заменить хранение prev на булевский флаг

что должно быть если два нуля подряд? игнорировать второй ноль, как у вас?

Без игнорирования второго нуля
https://scastie.scala-lang.org/Odomontois/119xxFQQRNOtzezpP0gD1w/1

Вы можете воспользоваться таким же подходом для решений с O(1)  памяти, используя Stream
https://scastie.scala-lang.org/Odomontois/119xxFQQRNOtzezpP0gD1w/8

Большое спасибо, это действительно то, что нужно, задачу можно считать решённой

ну смотрите

скан-лефт можно и прямо в рдд воткнуть

переход к rdd вызывает серьезное падение перфоманса, поэтому стараюсь держаться в контексте DataFrame и использовать .mapPartitions

это странно потому что преобразования итератор=>итератор одни из самых легковесных

нет, не iterator=>iterator, сама смена контекста df.rdd; spark.createDataFrame(newRdd, df.schema)

Возможно, Catalyst и Tungsten всё же не зря сделаны, есть определенные оптимизации и кодогенерация под капотом

Ну это решение не будет работать. если 0 будет в самом конце партишена