Телеграмм чат группы scrapy

коллеги, доброй ночи! Если я при запроси не получаю данные и вызываю raise, этот запрос уйдет в ретрай и будет ли этот ретрай управляться retry_count из настроек?

источник

01:08пожаловаться #4

К

Кирилл in Scrapy

Sergey Sergey

коллеги, доброй ночи! Если я при запроси не получаю данные и вызываю raise, этот запрос уйдет в ретрай и будет ли этот ретрай управляться retry_count из настроек?

Не уйдет. В ретрай уходят запросы со статусами которые могут означать временные проблемы. Чтоб сделать кастомный повтор запроса, тебе нужно его скопировать, указать dont_filter и йелдить как все остальные запрос. Для ретрай каунт, смотри логику в миделваре https://docs.scrapy.org/en/latest/_modules/scrapy/downloadermiddlewares/retry.html#RetryMiddleware

источник

01:16пожаловаться #5

SS

Sergey Sergey in Scrapy

Кирилл

Не уйдет. В ретрай уходят запросы со статусами которые могут означать временные проблемы. Чтоб сделать кастомный повтор запроса, тебе нужно его скопировать, указать dont_filter и йелдить как все остальные запрос. Для ретрай каунт, смотри логику в миделваре https://docs.scrapy.org/en/latest/_modules/scrapy/downloadermiddlewares/retry.html#RetryMiddleware

спасибо. Пойду смотреть. Ато я вручную делаю ретрай, но попадаю в loop и все встает колом.

К

спасибо. Пойду смотреть. Ато я вручную делаю ретрай, но попадаю в loop и все встает колом.

Там ничего сложного, просто интовый счетчик в мете, и число максимум, с которым нужно сравнивать.

источник

01:22пожаловаться #7

И

Илья in Scrapy