Size: a a a

2020 April 28

БП

Боря Потапкин in Scrapy
Если написать extension то оно будет ко всем паукам привязано? Если да то можно как-то привязать расширение только к конкретному пауку?
источник

МС

Михаил Синегубов in Scrapy
источник

МС

Михаил Синегубов in Scrapy
у них поведение как и у всех остальных модулей, т.е., где надо, там и подключай
источник

БП

Боря Потапкин in Scrapy
спасибо
источник
2020 April 29

A

Andrii in Scrapy
Hello, помогите, не могу понять за каким критерием сайт дает бан по ип https://www3.wipo.int/branddb/en/showData.jsp?ID=NZTM.1146240
источник

A

Andrii in Scrapy
если даже курл'нуть, то уже будет бан
источник

К

Кирилл in Scrapy
по любому из возможных
источник

A

Andrii in Scrapy
просто не могу понять, и ЮА и все headers из браузера, а он в бан)
источник

К

Кирилл in Scrapy
может быть js
источник

A

Andrii in Scrapy
при том что только етот раздел (типа детайлс) а весь сайт работает
источник

A

Andrii in Scrapy
Кирилл
может быть js
и через селениум откривал, сессию работает - потом бан
источник

V

Victor in Scrapy
Скрапи для каждого реквеста создает отдельную сессию? Как сохранять сессию на 100 запросов допустим?
источник

К

Кирилл in Scrapy
не создает
источник

К

Кирилл in Scrapy
она одна
источник

V

Victor in Scrapy
Как ее можно ресетить через 100 запросов?
источник

V

Victor in Scrapy
я пытаюсь распарсить один сайт. Через скрапи меня банит. Если просто requests юзаю и сессии то норм.
источник

V

Victor in Scrapy
вот у меня есть подозрение что в скрапи что то не так )
источник

G

Georg in Scrapy
Ну может тебе попробовать настроить заголовки, может попробовать поставить юзер-эгент, может сделать больше таймаутов и меньше параллельных запросов?
источник

V

Victor in Scrapy
это все сделано, там 1 запрос в 5-10 секунд, юзер агенты переключаются
источник

V

Victor in Scrapy
куки сохраняются в скрапи по дефолту вроде
источник