Телеграмм чат группы scrapy

при смене прокси скорее всего запросы будут фейлиться ConnecionError
и в scrappy для таких случаев должны быть настройки ретраев и таймауты между ретараями если страница не прогрузилась

вот выставить задержку между ретраями секунд 30

источник

15:49пожаловаться #6

Andrey Rahmatullin in Scrapy

Только вот нет такого

источник

15:51пожаловаться #7

ЕJ

Евгений Jen in Scrapy

может есть какой то хук на обработку ошибок

источник

15:52пожаловаться #8

Oleg Shleiko in Scrapy

Через тот же мидлвар смотри response

источник

15:52пожаловаться #9

Andrey Rahmatullin in Scrapy

Есть, но не поможет

источник

15:53пожаловаться #10

(

(o_O) in Scrapy

Ждем мерж https://github.com/scrapy/scrapy/pull/5015

GitHub

Add per request delay implementation by WinterComes · Pull Request #5015 · scrapy/scrapy

Closes #802
This changes allow to schedule request in the way of: "please process this request, but no sooner than X seconds from now". It respects rate and concurrency limits bec...

источник

15:56пожаловаться #11

Andrey Rahmatullin in Scrapy

Ну да

источник

15:56пожаловаться #12

МС

Михаил Синегубов... in Scrapy

народ, вопрос, кто как делает
есть несколько (пока, в дальнейшем, несколько десятков) пауков. Инкрементный сбор (нужны только новые). Работа через базу данных. С этим все норм.
Кто что посоветует, в плане запуска таких пауков? Желательно - вебморду.... Или, как сами работаете с такими задачами, может запускать из консольки и не бить голову?

источник

22:30пожаловаться #13

Anatoli Valenda in Scrapy

Airflow подойдёт для такого?

источник

22:36пожаловаться #14

Anatoli Valenda in Scrapy

Ещё я как-то натыкался на скрапи.д с веб интерфейсом. Могу попробовать найти

источник

22:37пожаловаться #15

Anatoli Valenda in Scrapy

pip install scrapydweb