Size: a a a

2021 June 03

МС

Михаил Синегубов... in Scrapy
таймауты с самом скрапи ставятся, можно, вроде, именно в реквесте поменять
источник

SS

Sergey Sergey in Scrapy
у меня их много.
источник

SS

Sergey Sergey in Scrapy
Я имею ввиду таймауты проверки на валидность в самом ротаторе.
источник

S

SoHard 🎄 in Scrapy
рандом чус прокси
источник

S

SoHard 🎄 in Scrapy
и попыток 999
источник

МС

Михаил Синегубов... in Scrapy
в самом ротаторе нет никаких проверок, он смотрит ответ реквеста
источник

МС

Михаил Синегубов... in Scrapy
иначе, это будет не ротатор, а чекер
источник

SS

Sergey Sergey in Scrapy
источник

МС

Михаил Синегубов... in Scrapy
при чем тут он? он просто, если грубо, базовую паузу до возврата в "непроверенные" из плохих устанавливает
источник

SS

Sergey Sergey in Scrapy
В доке написано
Non-working proxies could become alive again after some time. scrapy-rotating-proxies uses a randomized exponential backoff for these checks - first check happens soon, if it still fails then next check is delayed further, etc. Use ROTATING_PROXY_BACKOFF_BASE to adjust the initial delay (by default it is random, from 0 to 5 minutes). The randomized exponential backoff is capped by ROTATING_PROXY_BACKOFF_CAP

О возврате в проверенные или непроверенные.
А я никак не могу понять, как его вообще нафиг выключить.
Ну не нужны мне эти паузы и проверки.
источник

SS

Sergey Sergey in Scrapy
А этот https://github.com/aivarsk/scrapy-proxies
убирает прокси из списка, если ему что-то не нравится вместо того чтобы просто пробовать заново
источник

МС

Михаил Синегубов... in Scrapy
п..ц, так тебе надо пробовать заново или нет?
и сколько у тебя IP в списке прокси? именно в ротаторе
источник

МС

Михаил Синегубов... in Scrapy
не в сервисе
источник

SS

Sergey Sergey in Scrapy
8 айпи. Пробовать заново надо. Просто пробовать и всё
источник

МС

Михаил Синегубов... in Scrapy
пиши свою мидлварь, там 10-20 строк кода всего.
вряд ли ты найдешь готовое для такого.
источник

SS

Sergey Sergey in Scrapy
Думал, что такой простой функционал реально в каждом ротаторе должен быть. Уж проще простого)
источник

SS

Sergey Sergey in Scrapy
А миддлвари я сам чот так и не освоил.
источник

МС

Михаил Синегубов... in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
тогда возьми готовую и выкинь ненужные проверки
источник

МС

Михаил Синегубов... in Scrapy
по идее, этого по минимуму хватит.
можно сильнее вычистить, но, для начала, сойдет
источник