
Ну почему, почему в телеграме столько клёвых и при этом недокументированных фич?!
Size: a a a
We show how to compile high-level functional array-processing programs, drawn from image processing and machine learning, into C code that runs as fast as hand-written C. The key idea is to transform the program to destination-passing style, which in turn enables a highly-efficient stack-like memory allocation discipline.
trait Iterator {Это определение замечательно тем, что, в отличие от канонического определения из GoF здесь нет места вопросу "что возвращает
type Item;
fn next(&mut self) -> Option<Self::Item>;
// и ещё уйма методов, все из которых имеют реализацию по умолчанию
}
next
, если hasNext
вернул false
": при использовании итератора элементы достаются, пока .next()
возвращает Some(_)
. Тем не менее, поведение итератора после того, как он вернул None
, не является частью контракта итератора: разные конкретные реализации могут возвращать, а могут и не возвращать новые элементы. Конечно, большинство итераторов возвращают None
после того, как в них закончились элементы, но в общем случае это не так. В частности, std::iter::from_fn создаёт итератор, который для получения следующего f просто вызывает замыкание, переданное в функцию аргументом. Не зная ничего об этом замыкании, нельзя сделать никаких выводов по поведению итератора.for
, для корректности кода нужно, чтобы вызовы next
после возврата None
продолжали возвращать None
. Такие итераторы называют плавлеными слитыми обезвреженными fused iterators. Для того, чтобы отделять агнцев от козлищ, стандартная библиотека предоставляет два инструмента:Fuse
оборачивает итератор, реализующий FusedIterator
, то вызов next
у Fuse
просто вызывает метод next
у нижележащего оператора. Как написано в документации к FusedIterator
:FusedIterator
in generic bounds if you need a fused iterator. Instead, you should just call Iterator::fuse
on the iterator. If the iterator is already fused, the additional Fuse
wrapper will be a no-op with no performance penalty."Fuse
хранит булев флаг, говорящий, вернул ли нижележащий итератор None
или нет, даже несмотря на то, что для fused итераторов он не используется. Можно представить себе ситуацию, когда дополнительный флаг может привести к тому, что итератор перестаёт влезать в кэш процессора, что несколько ударяет по производительности. Это не zero-cost abstraction! Сегодня я займусь тем, что буду это исправлять.default fn next(&mut self) -> Option<<I as Iterator>::Item> {Здесь нагло эксплуатируется тот факт, что поле
if self.done {
None
} else {
let next = self.iter.next();
self.done = next.is_none();
next
}
}
done
имеет булев тип. Если мы хотим, чтобы адаптер не содержал флаг для fused итератора, нам нужно сделать тип флага зависящим от типа итератора. Т. к. теперь мы не можем считать флаг булевым, нам нужно абстрагироваться от конкретного типа. Немного перепишем реализацию метода:default fn next(&mut self) -> Option<<I as Iterator>::Item> {Как видно, от флага требуется две операции: проверка на то, выставлен ли он, и его установка в положение "да, сэр, к сожалению, этот джентельмен вернул
if self.done {
None
} else {
let next = self.iter.next();
if next.is_none() {
self.done = true;
}
next
}
}
None
". Также нам нужно каким-то образом получить начальное значение флага, когда мы создаём адаптер. Выразим это в трейте:trait Flag: Default {Этот трейт тривиально реализуется для
fn is_set(&self) -> bool;
fn set(&mut self);
}
bool
:impl Flag for bool {Теперь подумаем, что нам требуется для fused итератора. Наш метод
fn is_set(&self) -> bool {
*self
}
fn set(&mut self) {
*self = true
}
}
next
будет эквивалентен вызову next
у нижележащего итератора, если флаг всё время ведёт себя так, как будто он не выставлен (рекомендую ещё раз посмотреть на код выше, чтобы убедиться в этом). Создадим соответствующий тип и реализуем для него Flag
:#[derive(Default)]Теперь нам нужно сопоставить каждому итератору соответствующий тип флага. Именно здесь нам понадобится специализация: по умолчанию для итератора флагом является булев тип, но для fused итераторов (т. е. реализующих
struct False;
impl Flag for False {
fn is_set(&self) -> bool {
false
}
fn set(&mut self) {}
}
FusedIterator
) это будет False
. Непосредственно функций на уровне типов в Rust нет, но их роль играют трейты с ассоциированными типами.trait FlagType: Iterator {Теперь напишем сам адаптер. Ничего сложного в нём нет, нужно только иметь в виду, что нам требуется тип, для которого определён флаг:
type Flag: Flag + Default;
}
impl<I: Iterator> FlagType for I {
// ключевое слово default позволяет нам переопределять элементы трейтов
// в более специфичных impl-ах...
default type Flag = bool;
}
impl<I: FusedIterator> FlagType for I {
// ...что мы и делаем
type Flag = False;
}
struct SlimFuse<I: FlagType> {После всего описанного выше нетрудно написать реализацию
iter: I,
finished: I::Flag,
}
Iterator
:impl<I: FlagType> Iterator for SlimFuse<I> {Осталось только приправить extension trait для того, чтобы адаптер было удобно создавать:
type Item = I::Item;
fn next(&mut self) -> Option<Self::Item> {
if self.finished.is_set() {
return None;
}
let ret = self.iter.next();
if ret.is_none() {
self.finished.set();
}
ret
}
}
trait IteratorExt: Sized + FlagType {
fn fuse_slim(self) -> SlimFuse<Self>;
}
impl<I: Sized + FlagType> IteratorExt for I {
fn fuse_slim(self) -> SlimFuse<Self> {
SlimFuse {
iter: self,
finished: <_>::default(),
}
}
}
use std::mem::size_of_val;
use std::iter;
// FromFn не реализует FusedIterator по понятным причинам
let it1 = iter::from_fn(|| None::<i32>).fuse();
let it2 = iter::from_fn(|| None::<i32>).fuse_slim();
// В этом случае SlimFuse не лучше (но и не хуже!), чем Fuse
assert_eq!(size_of_val(&it1), size_of_val(&it2));
// Итераторы возвращают одно и то же
assert!(it1.eq(it2));
// Теперь возьмём fused итератор. Все итераторы коллекций являются fused —
// в частности, std::slice::Iter.
let it1 = [1, 2, 3].iter().fuse();
let mut it2 = [1, 2, 3].iter().fuse_slim();
// Наш адаптер эксплуатирует свойства итератора и оказывается менее жирным!
assert!(size_of_val(&it1) > size_of_val(&it2));
// Проверим, что наш итератор выдаёт то же самое, что и стандартный
assert!(it1.eq(it2.by_ref()));
// Проверим, что с наш адаптер действительно fused
assert!(it2.by_ref().eq(iter::empty::<&i32>()));
assert!(it2.by_ref().eq(iter::empty::<&i32>()));
Замечательно. Торжество zero-cost абстракций!