Size: a a a

2019 August 09

М

Мак in Scrapy
serhii
Что за аддон? Дай ссылку пожалуйста
Не помню, финн какой то написал. У компа буду - посмотрю
источник

М

Мак in Scrapy
serhii
Что за аддон? Дай ссылку пожалуйста
request maker
источник

М

Мак in Scrapy
inline_requests кто то пользовал в итоге?
источник

АН

Алексей Нагорский in Scrapy
Мак
inline_requests кто то пользовал в итоге?
Я
источник

М

Мак in Scrapy
удачно?
источник

АН

Алексей Нагорский in Scrapy
Да
источник

М

Мак in Scrapy
я так понял его нельзя в функции с пагинаций вставлять?
источник

АН

Алексей Нагорский in Scrapy
Причем был и йелд с коллбэком, оно ругалось но работало норм
источник

М

Мак in Scrapy
а у меня что то даже в промежуточную функцию заходить не хочет
источник

М

Мак in Scrapy
еслия я правильно понял, эту штуку желательно вставлять в конечную функцию, где уже yielg item...
источник

М

Мак in Scrapy
yield item
источник

М

Мак in Scrapy
Алексей Нагорский
Причем был и йелд с коллбэком, оно ругалось но работало норм
два вопроса: из промежуточных методов ретурн в каком виде был? и прием ответа через list()?
источник

АН

Алексей Нагорский in Scrapy
Мак
два вопроса: из промежуточных методов ретурн в каком виде был? и прием ответа через list()?
Промежуточный метод возвращал реквест, а в основном методе он елдился в переменную в стиле ... @inline_requests ... response = yield self.get_other_req()
источник

М

Мак in Scrapy
Алексей Нагорский
Промежуточный метод возвращал реквест, а в основном методе он елдился в переменную в стиле ... @inline_requests ... response = yield self.get_other_req()
промежуточный - это я имею ввиду тот, в который inline request и направляется... там же даже в примерах в ретурне словарь стоит...
источник

АН

Алексей Нагорский in Scrapy
Щито?
источник

М

Мак in Scrapy
# Scrapy user's answers.
       answers_url = response.urljoin('?tab=answers')
       answers_resp = yield Request(answers_url)
       user['answers'] = list(
           self.iter_links(answers_resp, answers_resp.css('.answer-link'))
       )
def iter_links(self, response, sel, expr='a[href]'):
       for link in sel.css(expr):
           yield {
               'title': link.css('::text').extract_first(),
               'url': response.urljoin(link.xpath('@href').extract_first()),
           }
источник

М

Мак in Scrapy
yield {
               'title': link.css('::text').extract_first(),
               'url': response.urljoin(link.xpath('@href').extract_first()),
           }
источник

М

Мак in Scrapy
ну тут конкретно yield но может и ретурн быть
источник

К

Кирилл in Scrapy
yield и return это разные вещи
источник

К

Кирилл in Scrapy
особенно в цикле
источник