МС
у доках пишут "для фильтрации", но, тебе никто не мешает попробовать использовать его для генерации SeleniumRequest
Size: a a a
2021 April 02
NZ
запрос и респонс, с которого ты создал запрос
тогда нужно именно место которое делает запрос)
NZ
у доках пишут "для фильтрации", но, тебе никто не мешает попробовать использовать его для генерации SeleniumRequest
может ты про process_links ?
МС
скорее нет
AR
У меня есть рула
Rule(LinkExtractor(allow=r'.*'), callback='parse_item', follow=True),
т.е мне обойти весь сайт надо, и вот я хочу чтобы в коллбек приходил результат от селениума
Rule(LinkExtractor(allow=r'.*'), callback='parse_item', follow=True),
т.е мне обойти весь сайт надо, и вот я хочу чтобы в коллбек приходил результат от селениума
ну так выбрось CrawlSpider
NZ
похоже вот про это мне всё же почитать надо и там где-то можно будет заменить стандартный реквест, на реквест селениума
AR
ужас какой
NZ
ну так выбрось CrawlSpider
не понял что имеешь ввиду, можно чуть подробнее?
AR
если нужная логика не влезает в идею Rule, выкинь их и пиши спайдер как обычно пишут
МС
не понял что имеешь ввиду, можно чуть подробнее?
обычный паук с yield Request / yield SeleniumRequest :)
AR
угу, создавать реквесты руками
NZ
окей, если не через Rule, надо тогда просто руками написать обход того что вернёт LinkExtractor, так получается? Обход имею ввиду послать запросы от селениума
вот этот вариант в общем
МС
@Krorel попробуй все же process_request и нам расскажеш 😂
AR
вот этот вариант в общем
да
NZ
@Krorel попробуй все же process_request и нам расскажеш 😂
Я если честно не очень понимаю как это сделать, там же уже был реквест и есть респонс, а мне получается надо просто обычный реквест заменить на реквест селениума
NZ
и по идеи всё будет работать норм)
NZ
но я отпишусь в любом случае, ок)
AR
в process_request нет респонса
МС
в process_request нет респонса
эээ, ты про что именно? что он не отдает респонс?
NZ
в process_request нет респонса
В докуменатции написано что он его получает как входной параметр