Size: a a a

2020 October 20

МС

Михаил Синегубов... in Scrapy
а сами параметры, которые отдаются в конце - поиск по коду. Кстати, там же и глянешь в какой момент стата выскакивает :)
источник

SS

Sergey Sergey in Scrapy
Михаил Синегубов
https://docs.scrapy.org/en/latest/topics/stats.html

начни с этого, только не помню откуда плясать надо, то ли при закрытии паука, то ли когда у пауканет данных (close_spider vs sider_idle). В каком то из них, вроде как, статы уже нет
да, это читал. Но реально мозгов не хватает применить. А примеров нормальных не нашел
источник

МС

Михаил Синегубов... in Scrapy
ща вдарю
источник

МС

Михаил Синегубов... in Scrapy
items = self.stats.get_value('item_scraped_count', 0)
источник

МС

Михаил Синегубов... in Scrapy
кстати, там же по ссылке:
Get all stats:
stats.get_stats()
{'custom_count': 1, 'start_time': datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}
источник

ЛГ

Лев Гареев in Scrapy
источник

ЛГ

Лев Гареев in Scrapy
кто-то забыл про слипы
источник

SS

Sergey Sergey in Scrapy
Михаил Синегубов
items = self.stats.get_value('item_scraped_count', 0)
это прямо в спайдере писать или в пайплайне по сигналу spider_closed, например?
источник

SS

Sergey Sergey in Scrapy
Михаил Синегубов
кстати, там же по ссылке:
Get all stats:
stats.get_stats()
{'custom_count': 1, 'start_time': datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}
вроде понял. Я прям в спайдере могу spider_closed написать и оттуда статы получить) Ща попробую)
источник

ЛГ

Лев Гареев in Scrapy
И так, снова я с тупым вопросом, мне уже подсказали, что проблема точн ов друх реквестах
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
у меня есть
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
 next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
       if next_page:
           yield scrapy.Request(
               response.urljoin(next_page),
               callback=self.parse
           )
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
 import scrapy
import time
import json


class RapserSpider(scrapy.Spider):
   name = "quotes"
   allowed_domains = ['de.bizin.eu']
   start_urls = ['https://de.bizin.eu/rus/cat/oborudovanie#.X474I9AzaUl']

   def parse(self, response):
       # Give data of css
       product_url = response.xpath('//a[@itemprop="name"]/@href').extract()
       full_product_url = []
       for url in product_url:
           full_product_url.append("https://de.bizin.eu" + url)
       for i in range(len(full_product_url)):
           yield scrapy.Request(full_product_url[i], callback=self.price_parse,
                                meta={'product_url': full_product_url[i]})
       next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
       if next_page:
           yield scrapy.Request(
               response.urljoin(next_page),
               callback=self.parse
           )

   def price_parse(self, response):
       data = json.loads(response.xpath('//script[@type="application/ld+json"]/text()').get())
       price = data['email']
       scrap_info = {
           'product_url': response.meta['product_url'],
           'price': price
       }
#        time.sleep(2)
       return scrap_info
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
куда его правильно ставить тут?
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
я просто пробовал все этапы и толку ноль
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
я понимаю, как реализовать при парсинге без вложенных страниц
источник

ЛГ

Лев Гареев in Scrapy
Переслано от Лев Гареев
но тут сначала парсинг страниц, потом вложенных
источник

К

Кирилл in Scrapy
кошмар -> for i in range(len(full_product_url))
источник

К

Кирилл in Scrapy
а в чем вопрос? что вставить
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
кошмар -> for i in range(len(full_product_url))
это взято из чужого кода
источник