Size: a a a

2020 November 16

A

AstralRomance in Scrapy
А что я делаю не так? Говорит, что нет ключа language. Но он есть в итеме, уже несколько раз скопировал из ключа словаря, чтобы наверняка. И в том же parse_authors разные поля из меты пишу в итем (перед language) - все ок.
report_dict['language'] = frame.xpath('.//span[@class="schedule__talk-lang "]/text()').get().strip()
               report_dict['tags'] = [tag.strip()[1::] for tag in frame.xpath('.//i[@class="schedule__tags"]//nobr/text()').getall()]
               yield Request(
                               report_link,
                               callback=self.parse_authors,
                               meta={'report_dict':report_dict}
                            )

def parse_authors(self, response):
       report['language'] = response.meta['language']
источник

AR

Andrey Rahmatullin in Scrapy
на какую строчку говорит?
источник

A

AstralRomance in Scrapy
report['language'] = response.meta['language']
источник

AR

Andrey Rahmatullin in Scrapy
что такое report?
источник

A

AstralRomance in Scrapy
Итем.
источник

AR

Andrey Rahmatullin in Scrapy
из кода этого не видно
источник

МС

Михаил Синегубов... in Scrapy
meta={'report_dict':report_dict}


response.meta['language']


@AstralRomance - найди 10 отличий
источник

AR

Andrey Rahmatullin in Scrapy
ахахаха
источник

A

AstralRomance in Scrapy
Михаил Синегубов
meta={'report_dict':report_dict}


response.meta['language']


@AstralRomance - найди 10 отличий
Понял.
источник

AL

Alexey Lemeshevski in Scrapy
И в заключении обзора решений - https://github.com/scrapinghub/frontera :) Днем видел ссылку, но не понял сначала - что это.

...в нем ещё прикольная ссылка была на книгу Information Retrieval ( https://nlp.stanford.edu/IR-book/html/htmledition/irbook.html ) и курс в Стэнфорде (с презентациями https://web.stanford.edu/class/cs276/)
источник

AL

Alexey Lemeshevski in Scrapy
Andrey Rahmatullin
был где-то отчёт как скрейпингхаб собрал весь интернет испании
источник

AL

Alexey Lemeshevski in Scrapy
презентация Александра Сибирякова про испанский веб )
источник

S

SoHard 🎄 in Scrapy
читаю доку по autothrottle и ничего не понимаю. есть где гайд по этому или объясните как оно работает
источник

S

SoHard 🎄 in Scrapy
я так понял он не для того что я хотел - сделать задержку если получаю статус не 200?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

AR

Andrey Rahmatullin in Scrapy
SoHard 🎄
я так понял он не для того что я хотел - сделать задержку если получаю статус не 200?
да
источник

S

SoHard 🎄 in Scrapy
а как сделать мою хотелку? писать свои велосипеды?
источник

A

Andrii in Scrapy
SoHard 🎄
а как сделать мою хотелку? писать свои велосипеды?
А просто довнлоад делай?
источник

S

SoHard 🎄 in Scrapy
Andrii
А просто довнлоад делай?
да там странно сайт работает, с 0,5 сек - запросов 100 проходит, а потом 500. Хотя не банит и если опять паука запустить можно дальше парсить
источник

AR

Andrey Rahmatullin in Scrapy
SoHard 🎄
а как сделать мою хотелку? писать свои велосипеды?
источник