ЛГ
Хз, код вроде выглядит нормально. Дополнительные запросы не должны влиять на предыдущие, если они нормально отрабатывались раньше, то и сейчас должны. Скорее всего проблема в подсчетах
я просто перезапускал код
Size: a a a
2020 October 22
ЛГ
несколько раз
ЛГ
Хз, код вроде выглядит нормально. Дополнительные запросы не должны влиять на предыдущие, если они нормально отрабатывались раньше, то и сейчас должны. Скорее всего проблема в подсчетах
вот без перелистывания
ЛГ
и все оки, 20 ссылок)
ЛГ
мистика сранная
ЛГ
Извините, дурная привычка. Нашел ссылку, где надо всего 100 достать, пойду за сигаретами и аущу полный цикл до конца по ней
G
for i in range(len(full_product_url)):
yield scrapy.Request(full_product_url[i], callback=self.price_parse,
meta={'product_url': full_product_url[i]})
next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
if next_page:
yield scrapy.Request(
response.urljoin(next_page),
callback=self.parse
)
добавь priority=1 в запрос, где callback=self.price_parse .после этого путаницы с порядком должно стать меньше
ЛГ
добавь priority=1 в запрос, где callback=self.price_parse .после этого путаницы с порядком должно стать меньше
Ты меня спас) Спасибо! Стали появляться 3, 2, 1, 0
SS
так амазон вроде даже рекомендуют с aws парсить. ибо айпи в белом листе )
они свои ip будут банить/каптчи выкидывать если сильно их нагружать?
S
for i in range(len(full_product_url)):
yield scrapy.Request(full_product_url[i], callback=self.price_parse,
meta={'product_url': full_product_url[i]})
next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
if next_page:
yield scrapy.Request(
response.urljoin(next_page),
callback=self.parse
)
О боже
AR
я сразу написал что переписать на питон
AR
Ты меня спас) Спасибо! Стали появляться 3, 2, 1, 0
приоритет не влияет на то, скачается ли страница вообще
МС
народ, всем драсть.
про авито, переписал на реквесты. Вообще ничего не перенастраивал по заголовкам и прочему - работает, сцука.
так что собака роется где то в скрапи....
про авито, переписал на реквесты. Вообще ничего не перенастраивал по заголовкам и прочему - работает, сцука.
так что собака роется где то в скрапи....
AR
запустил этот код - 'item_scraped_count': 39
AR
и чо вот было страдать