Size: a a a

2019 August 09

М

Мак in Scrapy
конечно разные. но я говорю из примеров.
источник

М

Мак in Scrapy
вот официальные примеры
источник

АН

Алексей Нагорский in Scrapy
Мак
# Scrapy user's answers.
       answers_url = response.urljoin('?tab=answers')
       answers_resp = yield Request(answers_url)
       user['answers'] = list(
           self.iter_links(answers_resp, answers_resp.css('.answer-link'))
       )
def iter_links(self, response, sel, expr='a[href]'):
       for link in sel.css(expr):
           yield {
               'title': link.css('::text').extract_first(),
               'url': response.urljoin(link.xpath('@href').extract_first()),
           }
Чет вообще не пойму что тебе не ясно
источник

М

Мак in Scrapy
def load_user(self, response):
       return {
           'name': response.css('h1::text').extract_first(),
           'website': response.css('.url[rel=me]::text').extract_first(),
           'location': response.css('.label.adr::text').extract_first(),
           'url': response.url,
       }

   def iter_links(self, response, sel, expr='a[href]'):
       for link in sel.css(expr):
           yield {
               'title': link.css('::text').extract_first(),
               'url': response.urljoin(link.xpath('@href').extract_first()),
           }
источник

М

Мак in Scrapy
во втором примере понятно что generator object выдается, его list() раскрыть можно. но первый то выдает классический словарь
источник

АН

Алексей Нагорский in Scrapy
Что это за примеры вообще
источник

АН

Алексей Нагорский in Scrapy
И причем здесь инлайн реквестс
источник

М

Мак in Scrapy
Алексей Нагорский
Чет вообще не пойму что тебе не ясно
я не пойму где косяк ловить... у меня посреди метода паука происходит вызов inline_request, но в метод, определенный inline_request-ом поток обработки не приходит
источник

М

Мак in Scrapy
Алексей Нагорский
Что это за примеры вообще
источник

АН

Алексей Нагорский in Scrapy
Но там же декоратор на parse_profile стоит
источник

АН

Алексей Нагорский in Scrapy
Причем здесь эти две бедные функции, они дербанят респонсы которые им приезжают, им вообще похер что в этом мире происходит
источник

АН

Алексей Нагорский in Scrapy
Короче, все нормально, все работает, если что-то не работает значит или ты нашел баг или делаешь что-то не так
источник

М

Мак in Scrapy
Алексей Нагорский
Короче, все нормально, все работает, если что-то не работает значит или ты нашел баг или делаешь что-то не так
гениальный ответ
источник

АН

Алексей Нагорский in Scrapy
Ну чувак, я ее в паре пауков использовал, использовал не по феншую с коллбэками но все работает, а ты в пример присылаешь левые функции которые там просто для целостности, что я должен предложить?
источник

М

Мак in Scrapy
не не, не напрягайся
источник

АН

Алексей Нагорский in Scrapy
Есть функция где нужно получить респонс, ставишь этот декоратор, елдишь посреди ее написанный дополнительный реквест в переменную или возвращаешь из какой нибудь ещё функции и так же елдишь в переменную, все, юзаешь эту переменную как будто это была просто функция которую коллбекнуло реквестом из другой
источник

АН

Алексей Нагорский in Scrapy
Какая там у тебя ситуация хуй знает, пример от автора ты видел, свой по сути такой же пример я описал, хз что тут ещё расписывать
источник

М

Мак in Scrapy
механику я понимаю прекрасно... вопрос видимо в лексике написания
источник

М

Мак in Scrapy
чувак
источник
2019 August 10

E

Evgen in Scrapy
Какой ещё метод определенный inline requests?
Ставите декоратор и пишете resp = yield Request(url)
источник