AR
дальше неинтересно
Size: a a a
2020 October 21
ЛГ
то есть не считал
сел и проверил парсинг 6 страниц, почему-то доходит до 16 итема и идет на след страницу, попробую поискать что не так, и не надо так резко реагировать, мои вопросы могут быть утпыми и не интересными для человека с огромным багажом, я просто учусь)
AR
я не резко реагирую, я обращаю внимание что спрашивают одно, а отвечают другое
AR
не надо говорить про количество итемов в логе, если ты это количество не посчитал
ЛГ
если убирать функцию перелистывания, то парсит на странице ровно 20 итемов, с этой функцией 16, и возвращает как раз за 2 страницы 32 вместо 40. причину понять не могу, знаний не хватает, если есть намек, или путь куда смотреть, буду благодарен
AR
Если убрать что именно?
AR
Ну и надо смотреть сколько урлов извлекается (и заодно этот код переписать на нормальный питон)
ЛГ
урлов извлекается 20, проверял
ЛГ
for i in range(len(full_product_url)):
yield scrapy.Request(full_product_url[i], callback=self.price_parse,
meta={'product_url': full_product_url[i]})
next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
if next_page:
yield scrapy.Request(
response.urljoin(next_page),
callback=self.parse
)
ЛГ
этот кусок кода - дерьмо
ЛГ
и полагаю проблема в нем, этот сранный цикл с передачей массива ссылок + след страница, вот тут точно проблема
AR
урлов извлекается 20, проверял
Как?
ЛГ
запускал код и принтил список и итемы, которые отдает
ЛГ
for i in range(len(full_product_url)):
yield scrapy.Request(full_product_url[i], callback=self.price_parse,
meta={'product_url': full_product_url[i]})
ЛГ
ЛГ
начинает отдавать 16, когда добавляется вот эта строка
ЛГ
next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
if next_page:
yield scrapy.Request(
response.urljoin(next_page),
callback=self.parse
)ЛГ
без нее 20 спокойно парсит
AR
Сомнительно как-то
AR
Как считал что 16?