A
а можно как-то пропускать страницу если она уже закеширована в скрейпи?
Size: a a a
2021 June 13
SS
Deltafetch/scrapy-crawl-once?
A
проблема что у меня уже есть кеш на пару млн страниц и мне не нужно их обходить, но у меня нет списка етих страниц :( но мне нужно еще спарсить пару млн
AR
сделай свой мидлварь, который проверяет реквест по этому списку
AR
тьфу
AR
я понял
AR
проверяй респонс на флаг cached и скипай
AR
в колбэке
A
Оооо
A
Спасибо
2021 June 14
М
Прошу прощения что так поздно, но у меня такой вопрос странный
М
Может ли прокси вернуть не мою целевую страницу?
М
Смотрю на логи перехожу руками в браузер там то что мне надо, а паук забирает вообще другую инфу?
М
Но так только с частью респонсов
М
Большая часть возвращает то что надо
O
может кто помочь, у меня есть массив прокси, вида mas=['9.9345.345.345','546.3456.4356']. Как мне реализовать смену в коде на рандомный из массива
SS
https://github.com/xiaowangwindow/scrapy-rotated-proxy (я год назад использовал это решение)
есть еще
https://github.com/TeamHG-Memex/scrapy-rotating-proxies
если массив регулярно/автоматически менятся - писать свой middleware
есть еще
https://github.com/TeamHG-Memex/scrapy-rotating-proxies
если массив регулярно/автоматически менятся - писать свой middleware
NS
Подскажите пж! Нужно сделать 2 последовательных запроса. Но второй запрос перенаправляется.
NS
Вот мой код и лог
NS
