Полиномиальный хеш позволит хешировать всю строку имея куски хоть из 1 символа

Залезет.
Там 100500 строк ограгиченной длины

Читать по линии и сувать в сет или другую структуру не работает

Нет, неограниченной длины, он же говорил. Весь файл может быть 1 строкой

А разделитель строк какой?

Ну наверняка дефолтный '\n'

Перенос строки

У нас нет ограничения на вывод промежуточных итогов в файл

После каждого значения новая строка такой весь файл . Тол ко там больше 20 миллионов строк

(1), строки бьем в другой файл вместе с ее хэшем. (2)Хэши грузим в память, они влезут. Можно брать короткие, байта по 4, но тогда придется с коллизиями вручную разбираться (3) для каждого хэша считаем повторяемость любвм способом
(4) выводим результаты последовательного чтения промеж.файла  в третий файл в формате "хэш, строка, величина  повторяемости для данного хэша", игнорируя строки с тем хэшем что уже были. Готово.

Хорошее задание для джуна, тобко надо учиться такое самому конечно.
Больше фантазит.

Попробую, спасибо .

только не пойму хватит ли памяти диска на другой файл, он же очень толстый сам по себе

Если и хэши не влезут - придется их тоже в файлы. Правило простое - не лезет в память-кидаем в файл

Если ограничения по размеру диска в задаче нет - то это неважно. Если нет хотя бы столько же места - хотя бы под сжатый файл - задача нереализуема за разумное время, в лоб там будет как бы не O(n^2)

Причем обращений к диску

Хех. Где бы таких задач пару сотен набрать - пощелкать на досуге

спасибо

Это неадекватное решение) Все гораздо проще.
Решение: идём по файлу, считываем по символу и считаем для строки полиномиальный хеш(так сможем захешировать имея только кусок), ну и кладём в хешсет. Ответ — размер сета.  И всё, тут писать минут 5-10

Решение за линию