Size: a a a

2019 October 01

C

Cyberdine Engineering🐤 in Scrapy
ну некоторые банят конечно
источник

C

Cyberdine Engineering🐤 in Scrapy
суть не в этом
источник

К

Кирилл in Scrapy
а в чём?
источник

C

Cyberdine Engineering🐤 in Scrapy
а нет стоп
источник

C

Cyberdine Engineering🐤 in Scrapy
работаент
источник

К

Кирилл in Scrapy
код выглядит нормально, единственная проблема может быть с твоим самописным декоратором, и в том что это ссылка не отдаёт 200
источник

C

Cyberdine Engineering🐤 in Scrapy
но как то по странному работает.

т.е. новый скрепи реквест не выбрасывает глобальный. т.е. норм

это у меня последующий кусок кода почему то перестал работать
источник

C

Cyberdine Engineering🐤 in Scrapy
def retry_parse_exception(func):
   def wrapper(self, response, *args, **kwargs):
       if not response.status == 200:
           print("STATUS CODE EXCEPTION")
           return self.retry(response)
       return func(self, response, *args, **kwargs)

   return wrapper

def retry(self, response):
       request = scrapy.Request(response.url, callback=self.parse)
       request.meta['proxy'] = self.proxy.get_random()
       yield request
источник

К

Кирилл in Scrapy
я не вижу dont_filter парамертра
источник

C

Cyberdine Engineering🐤 in Scrapy
зачем он?
источник

К

Кирилл in Scrapy
в retry, такой запрос должен фильтрваться как повторный
источник

К

Кирилл in Scrapy
потому что он уже был
источник

C

Cyberdine Engineering🐤 in Scrapy
request = scrapy.Request(response.url, callback=self.parse, dont_filter=True)
источник

C

Cyberdine Engineering🐤 in Scrapy
так надо?
источник

К

Кирилл in Scrapy
да
источник

К

Кирилл in Scrapy
но лучше возьми либу, которую  тебе пару дней незад советовали
источник

C

Cyberdine Engineering🐤 in Scrapy
Кирилл
но лучше возьми либу, которую  тебе пару дней незад советовали
я из ее серцов свою проксю сделал
источник

C

Cyberdine Engineering🐤 in Scrapy
все норм работает но
источник

C

Cyberdine Engineering🐤 in Scrapy
после того как воткнул @inline_requests
код, которых создает в файловой системе json  кладет туда спарсенный данные, почему то не выполняется
источник

C

Cyberdine Engineering🐤 in Scrapy
как будто просто игнорируется
источник