Всем привет! Нужна помощь очень.
Занимаюсь задачей .
Читаю архив размером 20 гигов, там файл со строками , размер файла разархивированного около 120 гигов.
1) Опытным путем выяснил что строк больше 20 миллионов ) сколько всего не стал ждать .
2) Через ZipInput ложу в BufferedReader
3) Запускаю цикл по BufferedReader = nextLine.
4) Не могу ложить в Set > ловлю аут оф мемори.
Подскажите какой алогорим можно применить .
Задача : посчитать кол-во уникальных строк в файле !

Только хеш надо без коллизий, нормальный.
Sha-256 скажем

А какой хэш в дефолтной джаве для строки?

А какой хэш в дефолтной джаве для строки?

И да, откуда это задание? Выглядит несложно, хотя конечно файл в 120 гб это немного издевательство)
Как-то же его создали

Подскажите плз, а че оно качает?

память

Подскажите плз, а че оно качает?

Если Вы про лог, то ничего не качает. Эти логи говорят о том что интенсивно работает Garbage Collector. Идёт интенсивная работа с памятью.

просто не понимаю что за странные глюки я словил. После того как на другой телефон загрузил приложение через АС и шнур, приложение на обоих телефонах начало жостко тупить. то интернет словить не может, сообщения в чате долго грузит и т.д.

Ну, GC блокирует процесс на время выполнения, это раз. Во вторых, у Вас явно много объектов читается, судя по долгам больше 2000 тысяч точно. Надо выносить все в background поток и обновлять постепенно