AR
так и ты можешь сделать
Size: a a a
2021 April 02
МС
Ребят, подскажите вот если возвращается в скрапи 200 ответ, но страница с капчей. Как ее обратно отправить на парсинг?
1. без проксей ИМХО, ловить тут нехрен
2. https://github.com/TeamHG-Memex/scrapy-rotating-proxies - этот умеет детектить баны по телу страницы (считаем, что каптча=бан). Только надо покрутить приоритеты мидлварей, что бы текст страницы стал текстом. То дефолту - там косячек
2. https://github.com/TeamHG-Memex/scrapy-rotating-proxies - этот умеет детектить баны по телу страницы (считаем, что каптча=бан). Только надо покрутить приоритеты мидлварей, что бы текст страницы стал текстом. То дефолту - там косячек
МС
А колбек разве сделается на тот же урл - там же был 200 респонс.
dont_filter=True
как то так
V
dont_filter=True
как то так
Спасибо!
NZ
Всем привет, хочу добавить селениум в проект, в документации указан этот пакет https://github.com/clemfromspace/scrapy-selenium
Подскажите, пожалуйста, как сделать чтобы LinkExtractor использовал для запросов селениум?
Подскажите, пожалуйста, как сделать чтобы LinkExtractor использовал для запросов селениум?
NZ
Есть такой вариант https://stackoverflow.com/questions/45532265/using-scrapy-linkextractor-with-selenium, но возможно как-то из коробки это можно сделать всё
МС
Всем привет, хочу добавить селениум в проект, в документации указан этот пакет https://github.com/clemfromspace/scrapy-selenium
Подскажите, пожалуйста, как сделать чтобы LinkExtractor использовал для запросов селениум?
Подскажите, пожалуйста, как сделать чтобы LinkExtractor использовал для запросов селениум?
давай чуть по конкретнее. Тебе надо что бы rules заработали. Или просто через LinkExtractor доставать ссылки?
NZ
У меня есть рула
Rule(LinkExtractor(allow=r'.*'), callback='parse_item', follow=True),
т.е мне обойти весь сайт надо, и вот я хочу чтобы в коллбек приходил результат от селениума
Rule(LinkExtractor(allow=r'.*'), callback='parse_item', follow=True),
т.е мне обойти весь сайт надо, и вот я хочу чтобы в коллбек приходил результат от селениума
NZ
Под результатом имею ввиду то, что позволит вытащить динамический контент)
NZ
А то я второй день со scrapy, может плохо объясняю свою цель
МС
хм, конретно в связке с Rule, похоже, надо пользовать параметр process_request, что бы он реквесты через силениум пропустил.
https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Rule
но это я по документации почитал
https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Rule
но это я по документации почитал
МС
хм, почитал еще раз. Не уверен на 100% что поможет
NZ
" This callable should take said request as first argument and the Response from which the request originated as second argument." очень похоже на то что тогда 2 раза придётся запрос делать
NZ
окей, если не через Rule, надо тогда просто руками написать обход того что вернёт LinkExtractor, так получается? Обход имею ввиду послать запросы от селениума
МС
" This callable should take said request as first argument and the Response from which the request originated as second argument." очень похоже на то что тогда 2 раза придётся запрос делать
def _identity_process_request(request, response):
return request
с какого перепуга?
МС
запрос и респонс, с которого ты создал запрос