в BanDetectionMiddleware.process_response сказать мол , if request.status 403 ?

return retry ?

блин, ты код смотрел? доки читал?

1.
   def process_response(self, request, response, spider):
       return self._handle_result(request, spider) or response

по сути, возвращает либо респонс (если бана нет), либо реквест.

2. курим доку по скрапи, для этого метода в мидлваре https://docs.scrapy.org/en/1.6/topics/downloader-middleware.html?highlight=Middleware#scrapy.downloadermiddlewares.DownloaderMiddleware.process_response
если метод возвращает респонс, то Ок, он обрабатывается
если метод возвразает реквест, то он запланируется на выполнение.

3. если метод выше вернет реквест, то он запланируется на выполнение. И перед выполнением пройдет через эту же мидлварю, и ему назначится новая прокся

а на основе этого ты извращайся как хочешь

и да, если посмотришь политику этой либы, то увидишь, что ращрешены только ответы NOT_BAN_STATUSES = {200, 301, 302} все остальное считается баном

я же сказал читать issues, там есть решение про респонс-коды и как их даже в кеш не забрасывать:
https://github.com/TeamHG-Memex/scrapy-rotating-proxies/issues/20

Такой вопрос, есть паук который парсит все страны с сайта, но в файл записывает всегда только первую, в чем проблема, подскажите?

внутри цикла делай относительный xpath

если кратко, в строке 8 ты получаешь УКАЗАТЕЛЬ на место в странице.
в строке 13 ты начинаешь с "//", т.е., ты снова делаешь поиск с начала файла

если  не понял - спрашивай, с этим почти все спотыкаюься :), помоему даже вообще все на это нарывались и бились башкой об стену 😂

Сейчас я про это почитаю, а потом если что спрошу

Тоесть нужна точка в начале, правильно?

ага, "./" вот так, по идее, а что дальше - х/з

А с присвоением item["country "] нет проблем?

а в чем должна быть проблема?

Это как вчера у Тима было, его код такой же и кидал TypeError: 'ItemMeta' object does not support item assignment
Я обычно так вообще не делаю, так что интересно

ну, там чет не то было, ибо даже офф. доки так делают :
https://docs.scrapy.org/en/latest/topics/items.html#setting-field-values

я как раз только так и делаю :)

Да, я сейчас исходники читаю, там есть обработка getitem