Переменную как глобальную объявить?

в пределах паука? или что?
и назначение этой переменной какое?

Не нужна там переменная и индекс этот. Просто flow нормальный сделать

На польскую прокси перестал капчей плеваться

но зараза медленно, если таймаут меньше 5 секунд или всегда одинаковый снова капча. поэтому поставил таймаут рандомный от 6 до 10 секунд

DOWNLOAD_DELAY и так разброс делает рандомный

интересно как ты фикс делай сделал

я sleep ом делай делал). Вот доку почитал, поставил через DOWNLOAD_DELAY )))

Сейчас изучаю модуль scrapy-rotating-proxies. Поставил настройку ROTATING_PROXY_CLOSE_SPIDER=True, чтобы спайдер закрывался при истощении всех прокси. Попробовал потестить: исключение CloseSpider появляется, но спайдер не завершается, а продолжает работать, генерируя CloseSpider для каждого следующего запроса. Кто-нибудь знает, как заставить спайдер остановиться? Насколько я знаю, CloseSpider завершает работу спайдера только при непосредственном вызове из коллбэка, а здесь исключение генерируется внутри миддлвара

Рекомендую следующую схему. Пишем сторонний скрипт который пишет список проксей в БД с регулярным обновлением если есть такая возможность. А в скрепи делаем мидвару которая с базы тянет рандомную проксю на каждый запрос. Вот тебе и ввесь рататор) при чем централизированный. Не нужно каждому боту свои файлики с проксями подсовывать. Все боты берут прокси с одной базы рандомно

Уже написано такое

скинь урл, может поменяю свои костыли)

вот с монгой есть https://github.com/xiaowangwindow/scrapy-rotated-proxy

спасибо!

How to download the same document multiple times using scrapy?

yield scrapy.Request(response.url, dont_filter=True)

I'm talking about files pipeline.

We can't download duplicates.

But I want to download duplicates

so, do you want to override file?