Size: a a a

2020 October 20

ЛГ

Лев Гареев in Scrapy
все реструктуризирую
источник

ЛГ

Лев Гареев in Scrapy
главное пока что, джобинг
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
а в чем вопрос? что вставить
вставить перелистывание на след страницу
источник

ЛГ

Лев Гареев in Scrapy
я чуть пьяныйц, др праздную
источник

ЛГ

Лев Гареев in Scrapy
могу опечатываться
источник

ЛГ

Лев Гареев in Scrapy
 
class RapserSpider(scrapy.Spider):
   name = "quotes"
   allowed_domains = ['de.bizin.eu']
   start_urls = ['https://de.bizin.eu/rus/cat/oborudovanie#.X474I9AzaUl']

   def parse(self, response):
       # Give data of css
       product_url = response.xpath('//a[@itemprop="name"]/@href').extract()
       full_product_url = []
       for url in product_url:
           full_product_url.append("https://de.bizin.eu" + url)
       for i in range(len(full_product_url)):
           yield scrapy.Request(full_product_url[i], callback=self.price_parse,
                                meta={'product_url': full_product_url[i]})

   def price_parse(self, response):
       data = json.loads(response.xpath('//script[@type="application/ld+json"]/text()').get())
       price = data['email']
       scrap_info = {
           'product_url': response.meta['product_url'],
           'price': price
       }
       time.sleep(2)
       return scrap_info
источник

ЛГ

Лев Гареев in Scrapy
вот сюда
источник

ЛГ

Лев Гареев in Scrapy
Лев Гареев
Переслано от Лев Гареев
 next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
       if next_page:
           yield scrapy.Request(
               response.urljoin(next_page),
               callback=self.parse
           )
этот функционал
источник

К

Кирилл in Scrapy
Лев Гареев
Переслано от Лев Гареев
 import scrapy
import time
import json


class RapserSpider(scrapy.Spider):
   name = "quotes"
   allowed_domains = ['de.bizin.eu']
   start_urls = ['https://de.bizin.eu/rus/cat/oborudovanie#.X474I9AzaUl']

   def parse(self, response):
       # Give data of css
       product_url = response.xpath('//a[@itemprop="name"]/@href').extract()
       full_product_url = []
       for url in product_url:
           full_product_url.append("https://de.bizin.eu" + url)
       for i in range(len(full_product_url)):
           yield scrapy.Request(full_product_url[i], callback=self.price_parse,
                                meta={'product_url': full_product_url[i]})
       next_page = response.xpath('//div[@class="pagination span12"]//li[last()]/a/@href').extract_first()
       if next_page:
           yield scrapy.Request(
               response.urljoin(next_page),
               callback=self.parse
           )

   def price_parse(self, response):
       data = json.loads(response.xpath('//script[@type="application/ld+json"]/text()').get())
       price = data['email']
       scrap_info = {
           'product_url': response.meta['product_url'],
           'price': price
       }
#        time.sleep(2)
       return scrap_info
так уже же вставленно, выглядит нормально
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
так уже же вставленно, выглядит нормально
из-за 2 респонсов вроде как меня нахер посылает
источник

К

Кирилл in Scrapy
Если оно там есть на странице
источник

ЛГ

Лев Гареев in Scrapy
по-крайней мере на одной странице паук закончил
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
Если оно там есть на странице
есть
источник

ЛГ

Лев Гареев in Scrapy
с css нет проблем
источник

К

Кирилл in Scrapy
нормально работает
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
нормально работает
тогда
источник

ЛГ

Лев Гареев in Scrapy
значит бан
источник

ЛГ

Лев Гареев in Scrapy
из-за того, что слип снял
источник

ЛГ

Лев Гареев in Scrapy
источник

ЛГ

Лев Гареев in Scrapy
Как ввести капчу, которая не робит?
источник