Size: a a a

2018 August 05

B

Bulatbulat48 in Scrapy
self.start_urls = ['http://google.com/%s' % (subject)]
источник

B

Bulatbulat48 in Scrapy
ну как-то так только рулес
источник

B

Bulatbulat48 in Scrapy
попробуй не получится погуглим)
источник

NK

ID:507308625 in Scrapy
В общем вопрос остается открытым.

    def __init__(self, tag=None):
       super(myclass, self).__init__()

       if tag:
           self.logger.info('Scraping only {}.'.format(tag))
       else:
           self.logger.info('Scraping all tags.')

Если в условия я кладу-ложу self.allowed_domains, self.start_urls, и self.rules - то код не работает, не отдает данные
источник

NK

ID:507308625 in Scrapy

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class DemoSpider(CrawlSpider):
  name = "demo"
  allowed_domains = ["www.demoexample.com"]
  start_urls = ["http://www.demoexample.com"]
     
  rules = (
     Rule(LinkExtractor(allow =(), restrict_xpaths = ("//div[@class = 'next']",)),
        callback = "parse_item", follow = True),
  )
 
  def parse_item(self, response):
  item = DemoItem()
  item["product_title"] = response.xpath("a/text()").extract()
  item["product_link"] = response.xpath("a/@href").extract()
  item["product_description"] = response.xpath("div[@class = 'desc']/text()").extract()
  return items

В общем, как передать аргументы в такой код чтобы работал рулс в зависимости от условия, если их два)
источник

B

Bulatbulat48 in Scrapy
ID:507308625
В общем вопрос остается открытым.

    def __init__(self, tag=None):
       super(myclass, self).__init__()

       if tag:
           self.logger.info('Scraping only {}.'.format(tag))
       else:
           self.logger.info('Scraping all tags.')

Если в условия я кладу-ложу self.allowed_domains, self.start_urls, и self.rules - то код не работает, не отдает данные
это что?
источник

B

Bulatbulat48 in Scrapy
myclass?
источник

B

Bulatbulat48 in Scrapy
почему с маленькой буквы?)
источник

B

Bulatbulat48 in Scrapy
class MySpider:
   name = 'racers'
   allowed_domains = ['racing.hkjc.com']
   start_urls = []
   def __init__(self, subject, *args, **kwargs):
       super(MySpider, self).__init__(*args, **kwargs)
       self.start_urls = ['http://google.com/%s' % (subject)]
       self.subject = subject
       
       
       
obj = MySpider(subject='gogogo')
obj.subject
'gogogo'
obj.start_urls
['http://google.com/gogogo']
источник

DD

Danil Denysenko in Scrapy
хз, нашел все параметры запроса. Отправляю через request.post запрос - ничего не выходит. Даже через браузер, утрпавля. запрос и ничено не меняется(
источник

NK

ID:507308625 in Scrapy
Bulatbulat48
почему с маленькой буквы?)
забыл шифт нажать, это для примера.
в общем не смог я написать условия.
источник

B

Bulatbulat48 in Scrapy
ID:507308625
забыл шифт нажать, это для примера.
в общем не смог я написать условия.
Делай логгинг и давай посмотрим
источник

B

Bulatbulat48 in Scrapy
Что приходит
источник

B

Bulatbulat48 in Scrapy
Danil Denysenko
хз, нашел все параметры запроса. Отправляю через request.post запрос - ничего не выходит. Даже через браузер, утрпавля. запрос и ничено не меняется(
Как делаешь, надо давай с самого начала
источник

NK

ID:507308625 in Scrapy
Bulatbulat48
Делай логгинг и давай посмотрим
как правильно в условия рулсы положить, ты знаешь?
источник

NK

ID:507308625 in Scrapy
или нет?
источник

B

Bulatbulat48 in Scrapy
Что значит условия?
источник

NK

ID:507308625 in Scrapy
иф и елз
источник

NK

ID:507308625 in Scrapy
я ж выше все расписал
источник

NK

ID:507308625 in Scrapy
вот например
источник