Size: a a a

2021 June 01

A

Andrii in Scrapy
Dns leak
источник

(

(o_O) in Scrapy
у тебя 1й зарос прошел, резолвленный ип закешировался
источник

(

(o_O) in Scrapy
или ты думаешь, что днс сервер при каждом запросе опрашивают?
источник

V

Victor in Scrapy
cookies  = {}
request = Request(new_url, cookies=cookies, callback=self.parse, headers=headers)
источник

V

Victor in Scrapy
Вот это будет обнулять куки? Или оно к сохраненным кукам твои добавляет?
источник

(

(o_O) in Scrapy
Так куки не отключишь
источник

(

(o_O) in Scrapy
COOKIES_ENABLED = False в настройках
источник

AR

Andrey Rahmatullin in Scrapy
второе
источник

E

EV in Scrapy
тоже использую эти прокси - капчей много
источник

V

Victor in Scrapy
Если куки отключить - IP адреса же "выгорят" быстро
источник

V

Victor in Scrapy
не?!
источник

(

(o_O) in Scrapy
Типа траст низкий? Это зависит от антибота. Амазон терпелив
источник

(

(o_O) in Scrapy
Ничуть не лучше, когда у тебя куки-сессия прыгает по разным ип с каждым запросом
источник

G

Georgiy in Scrapy
Если через cookies передавать один и тот же sessionId (по умолчанию scrapy именно так и делает) с разных IP - то так они "выгорят" быстрее
источник

V

Victor in Scrapy
У Амазона еще урлы длинные https://www.amazon.com/dp/B088THF1HN/ref=psdc_9938479011_t1_B07QLXC6QR . я вот все параметры обычно обрезаю и делаю запрос на урл вида https://www.amazon.com/dp/B088THF1HN
источник

V

Victor in Scrapy
А можно как то скрапи заставить генерить новую сессию при переключение на другой IP?
источник

E

EV in Scrapy
и что делает амазон в этом случае?
источник

(

(o_O) in Scrapy
У меня исходников их антибота нет
источник

E

EV in Scrapy
тогда почему ничуть не лучше? может им неважно? планирую затестить скоро )
источник

G

Georgiy in Scrapy
cookiejar request meta key
источник