это один документ 🤷‍♂️

Почему это?

Это нелегко, из-за закрытий/открытий скобок, но реально

потому что это один документ, как его разбить?

А с jl вообще вообще вопросов не возникнет

это да

дело в оси. Убунта и винда на одной железке стоит. Под убунтой не получилочь загрузить, под виндой - получилось.
скорее всего, дело в т.н. файле подкачки (виндовый термин, не знаю как в убунте называется). Ибо памяти жрало больше физической.
Тут просто академический вопрос, что в таком случае делать

Так же называется подкачка/swap

Или подкачка, или у тебя может быть что-то еще висело в памяти от других процессов

В самой убунту ничего такого с файлами нет. Таблица с дескрипторами на процесс, таблица с дескрипшенами систем вайд, и i-node тэйбл. И буффер чтения. Ей без разницы сколько ты загружаешь из файла в кучу процесса

Насчет винды не знаю, может она там что-то хитрое делает

быть может дело в линуксовой настройке кеширования vm.swappiness ?

Если кому интересно, отвечу на один из своих предыдущих вопросов: " можно ли использовать единый файл requests.seen для нескольких пауков " - можно (условно), если использовать один и тот же путь  JOB_DIR.
requests.seen - файл, либо список в памяти, в который записываются хеши запросов (т.н. fingerprints). Записывает их RFPDupeFilter для фильтрации дубликатов перед тем, как отдать downloader'у.
Если в настройках указать JOB_DIR, то появляется данный файлик, и при каждом запуске все запросы, совпадающие с хешами из него игнорируются.
З.Ы: при использовании одного файла несколькими процессами мы естественно столкнемся с блокировками...

только вот вся соль в последнем предложении 😂

Я бд использую 🤷

на каком этапе вы проверяете/пишете в базу?

вроде бы это в доке итак отмечено

Я сам задал вопрос, сам - ответил)

из базы забирать можно по sider_idle
писать (в т.ч. статусы) в пайпе чанками

Тут 80% вопросов в доках написаны, так что это нормально