Кто-то парсил кинопоиск, на сколько он разборчив к проксям?

ipv6 поддержкивает, куда лучше)

а где их брать? как скрапи через них запустить?

купить, так же как и любой проект с прокси🙂

Интересно - попробовал запустить scrapy на парсинг 3000 сайтов (использовал рекомендуемые настройки очереди из документации, со страницы про Broad Crawls) - робот уперся в ограничение ОС на макс. кол-во открытых файлов (ulimit -Sn показал 1024) ...сказал: builtins.OSError: [Errno 24] Too many open files

Ограничение я увеличил (удивившись, что оно у меня в системе такое маленькое стояло). Но ...что же, а если сайтов будет миллион, Scrapy будет держать все дескрипторы открытыми?

тут недавно давали хороший совет

не парсить миллионы ссылок за один заход

Закрывать файлы

Проверил пошагово, вставляет, грузится - и не принимает

Я их и не открываю, открывает scrapy (queuelib) - так устроена работа с очередью с нем :)

Не используй эту либу) или форкай и переписывай

У меня задача - обходить много сайтов параллельно. Не миллионы, но десятки/сотни тысяч (не больше). Раз очередь scrapy так устроена, значит, или увеличить разрешенное кол-во одновременно открытых файлов (как я сделал) ...или использовать другую очередь, видимо:)

Это я понимаю :))) думал, может есть еще какие-то варианты настроек "из коробки"))

Я ей не пользовался, но скорее всего она не должна на 3000 сайтов открывать 1024 файла. Ты уверен, что сам их не открываешь?

Скрапид для такого есть

Он их открывает, если очередь на диске хранить (scrapy crawl ... -s JOBDIR=/path/)

Еще странная штука - беру для эксперимента 3000 рабочих доменов 2го уровня, в настройках пишу:
CONCURRENT_REQUESTS = 50,
DOWNLOAD_DELAY = 100 (я хочу, например, чтобы второй запрос на этот сайт пришел только спустя 100 секунд),
CONCURRENT_REQUESTS_PER_DOMAIN = 1

И происходит следующее: scrapy примерно за 1-2 секунды берет первые 50 сайтов, делает запросы, получает ответы ... и замирает на 100 секунд)))

Что я не так делаю?)

Код в parse для теста самый простой (извлекает ссылки и возвращает (через yield) запросы).

@AlexeyLemeshevski парсить 3000 доменов используя файловый кэш, да и вообще, хранение  любой информации в файлах - так себе идея.

на такие объемы - только база. Даже, если работаешь одним пауком.
И, кстати, да - скорее всего, надо писать свои мидлвари/пайпы. Помнится, у меня кэш дико тормозил на большом количестве страниц. Такое ощущение, что он кэширует что то при старте.

переписать код.
могу ошибаться, но, вроде, делай глобально работает.