удалил (не правильно понял)

тессеракт решает капчу яндекса? или кто как решает ее каптчу?

я вот написал самый простой тест, какой смог придумать: https://pastebin.com/eDsN7pJ9

настройки:
CONCURRENT_REQUESTS = 10

DOWNLOAD_DELAY = 200
RANDOMIZE_DOWNLOAD_DELAY = False

лог https://pastebin.com/r9ijdWe4

по логу видно - он берет часть запросов (сколько влезает в concurent_requests) и ждет download_delay :)

ну да, а как

новые брать нельзя потому что очередь заполнилась, а очередь трогать нельзя пока делей не пройдёт

тут похоже все верно, но нужно CONCURRENT_REQUESTS = 1
CONCURRENT_REQUESTS_PER_DOMAIN = 1 будет работать для каждого домена, так как у тебя сейчас и работает.
так что получается можно оставить только CONCURRENT_REQUESTS = 1 (но нужно потестить, иначе спайдер может один домен обходить.)

а что можно сделать, чтобы, в момент ожидания download_delay могли отрабатывать запросы к другим доменам?

если я увеличу concurrent_requests, например, до 3000, то scrapy на старте попробует отправить 3000 запросов? (у меня сеть больше 200 одновременных запросов к сайтам не держит - 100мбит/с канал)

к каким другим доменам, download_delay глобальный

@AlexeyLemeshevski какая цель вообще?

ого... кажется, теперь понял ) спасибо ) ...тогда, реально, надо 1 сайт = 1 процесс scrapy. И следить другим скриптом, чтобы параллельно всегда работало около 200 процессов.

обходить десятки и сотни тысяч сайтов ) при этом, мне нужен download_delay на каждый домен. Попутно выяснил ещё, что и из списка start_urls (или из start_process, который возвращает генератор) scrapy берет первые N урлов (по кол-ву concurrent_requests) и, пока parse генерирует новые запросы, scrapy не берет следующий из генератора start_process. Другими словами, на входе даем 3000 сайтов, он взял 50, пошел обходить... и пока есть хотя бы 1 request в очереди для любого из этих 50 сайтов (а request'ы создаются вновь и вновь, по мере сбора ссылок), он не берет следующие 50 сайтов ))) в итоге, если, например, ограничить обход сайтов всего 100 УРЛами, то в первые 10 минут он работает нормально, а потом производительность падает до десятков УРЛов в минуту )))

скрапид

или ето 1 паук ходит 100к сайтов?

ну ты слоу

да, вы были правы ) спасибо ) ...хотя это не идеальное решение ) ...через event-loop (twisted или asyncio наверное это умеют; я в perl на AnyEvent это писал) нужная мне логика реализуется (просто запоминаешь время старта загрузки последнего запроса в словаре, key в словаре - домен; на каждое срабатывание loop'а проверяешь - прошло ли нужное время - если не прошло - возвращаешь в очередь, если прошло - забираешь из очереди и отдаешь загрузчику), но ... я уже реализовал часть логики на scrapy и не охота переписывать на чем-то вроде pycurl + asycnio ... scrapy дописывать тоже не охота )

ок, всем спасибо )

в скрапи есть события открытия, закрытия, простоя (перед закрытием, когда ему уже нечего парсить, тут можно подсунуть следующие ссылки и снова "поднять" паука). Сними можно мнооого интересного наворочать