S
Правило одно для всех страниц Rule(LinkExtractor(allow=('k-',)), callback='parse_product'),
)
def parse_product(self, response):
Size: a a a
2021 May 24
(
Скрапи страницы скачал, а парсер (user code) его не разбирает (видимо).
работает?
scrapy shell http://...
spider.parse_product(response)
работает?
AR
Традиционно предлагаю выкинуть CrawlSpider, когда такие вопросы
(
Ай, а ведь удобная вещь
AR
Когда понимаешь как она работает
AR
Или хотя бы когда не надо колбэки писать :))
(
Ну так вызов метода spider.parse_product(response) в шелле результат дает?
(
А где правило для пагинации?
(
И вот это allow=('k-',) весьма широко
(
По сути должно быть два правила - одно для перехода по страницам каталога, второе для разбора страниц продуктов
(
Типа
rules = [
Rule(LinkExtractor(r'\?page=')),
Rule(LinkExtractor(r'/goods/'), 'parse_product'),
]
(
Ну а развернуть генератор? list(spider.parse_product(response))
(
а ок
(
Волшебства нет. LinkExtractor извлекает ссылки согласно параметрам, а Rule следует по ним, вызывая callback, если задан