О_о боль, я даже не думал, что кому-то может быть не знакома потоковая обработка данных.
В зависимости от формата данных это может быть очень сложно, но зачастую профит себя оправдывает, исключая те случаи, когда можно сократить размеры обрабатываемых данных
Ну так вот, что бы не уходить в офтоп. Был товарищ в котлин слаке, который очень кричал, что все плохо, потому что у него нет возможности быстро выкачать из файла два гигабайта и разместить в памяти (питонисты так иделают если что). Объяснения того, что наверное не надо два гигабайта разом в памяти держать не принимал в упор.