AB
нужно спарсить по учебе одну страничку
Size: a a a
2020 February 24
S
Подскажите как обойти капчу кинописка? Юзаю requests с https прокси.
@python-captcha
E
человеки.
"https://ohio8.vchecks.me/share/....."
я таки понимаю, это одна из DDOS защит? есть лекарство, кроме браузера/сплеша?
"https://ohio8.vchecks.me/share/....."
я таки понимаю, это одна из DDOS защит? есть лекарство, кроме браузера/сплеша?
Variti. Редкостная жопа
МС
Variti. Редкостная жопа
Ага, я уже копнул одним глазиком...
AB
Говорит нет такого телеграмм аккаунта
AB
а просмотр полей в copy as curl с последующим преобразованием curl ->python не помогает?
Заголовки и кукис тоже передал. Из кукис вырезал только свой id. Вечером попробую зарегать фейк на яндексе и передать его
AR
ну если урлы пагинации одинаковые, то да
AR
а вообще при чём тут JOBDIR, урлы с одинаковым хешем режет ещё дупфильтр
AR
аа
МС
ну, я бы отталскивался от кастомного HttpCacheMiddleware https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#module-scrapy.downloadermiddlewares.httpcache
всеж, ИМХО, JOBDIR чуть для другого предназначен
dont_filter=True - грозит лишними запросами...
всеж, ИМХО, JOBDIR чуть для другого предназначен
dont_filter=True - грозит лишними запросами...
МС
кстати, я тут обнаружил, что dupfilter еще и тело запроса хеширует (вне зависимости от типа запроса) :)
М
ну, я бы отталскивался от кастомного HttpCacheMiddleware https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#module-scrapy.downloadermiddlewares.httpcache
всеж, ИМХО, JOBDIR чуть для другого предназначен
dont_filter=True - грозит лишними запросами...
всеж, ИМХО, JOBDIR чуть для другого предназначен
dont_filter=True - грозит лишними запросами...
это ж для чего ж JOBDIR тогда?