Здравствуйте, пытаюсь решить одну задачу, для этого выбрал python. Подскажите как лучше работать с большими текстовыми файлами "до 1гб", загружать их полностью в ОЗУ и потом работать, или же построчно? Спасибо!
А если у только 2 файла? У меня есть файлы txt там только строки"но очень много" 5-6ти значные буквыцыфры. Нужно найти одинаковые строки, так вот 800мб он делает часа 4-5😭
Думаю multiprocessing это то что вам нужно Например мне нужно было спарсить данные Там было 20000 товаров Всё это парсилось бы дня 2(через селениум парсил) Я разделил эту задачу на 6 потоков Результат - 3 часа, это уже более менее