Size: a a a

2020 November 06

A

Anton in Scrapy
Спасибо!
источник

8

85345 in Scrapy
Михаил Синегубов
    def parse(self, response, ):
       items = {}
       next_page_url = response.xpath('//a[@class="nfl-o-table-pagination__next"]/@href').get()
       part_href = response.xpath('//a[@class="d3-o-media-object"]/a[@class="d3-o-player-fullname nfl-o-cta--link"]/@href').getall()

       href = []
       for href_str in part_href:
           hr = href.append('https://www.nfl.com%sstats/logs/' % href_str)
           hr2 = 'https://www.nfl.com%sstats/logs/' % href_str
       items['href'] = href
       yield items

       if next_page_url is not None:
           yield scrapy.Request(response.urljoin(next_page_url))
Благодорю, все заработало.
Теперь буду детальнее разбераться с get и getall.
А то по видеоурокам почти всегда юзали extract().
Пошол читать маны
источник

МС

Михаил Синегубов... in Scrapy
extraxt это старые методы, их давно заменили на get/getall
старые оставили пока для обратной совместимости
источник

МС

Михаил Синегубов... in Scrapy
юзать можно, но, не желательно
источник

8

85345 in Scrapy
Понял
источник

AR

Andrey Rahmatullin in Scrapy
просто уроки старые
источник

i

i in Scrapy
Интересно, надо будет глянуть: https://twitter.com/ScrapyProject/status/1324743469840146432?s=19
источник

R

Roma in Scrapy
Не вижу нигде -  онлайн саммит?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

AR

Andrey Rahmatullin in Scrapy
источник

R

Roma in Scrapy
Спасибо! оч интересно
источник
2020 November 07

a

andriiko489 in Scrapy
Знает кто-то как решить эту проблему?
источник

A

Andrii in Scrapy
andriiko489
Знает кто-то как решить эту проблему?
Установить c++ build tools
источник

a

andriiko489 in Scrapy
Andrii
Установить c++ build tools
Спасибо, буду пробовать
источник

i

i in Scrapy
andriiko489
Знает кто-то как решить эту проблему?
ты можешь поставить скрапи через анаконду-миниконду, он там подтянет прекомпиленный wheel твистеда, ну можно build tools да, если 2-5 гигов не жалко)
источник

ПА

Павел Асеев... in Scrapy
Привет, подскажите пожалуйста, а как вытащить все ссылки из sitemap. Т.е. не переходить по ним и парсить, просто выгрузить в CSV все ссылки. Паук выглядит так https://prnt.sc/vf0qli а что прописать в parse не понимаю.
источник

ПА

Павел Асеев... in Scrapy
Внутри главной карты сайта находятся более 3000 мелких и в каждой уже лежат ссылки на товары. Вот эти ссылки мне и нужны. Вот пример карты сайта уже с ссылками на товары https://www.digikey.com/en/product-detail/submap/sitemap1.xml
источник

S

SoHard 🎄 in Scrapy
Павел Асеев
Привет, подскажите пожалуйста, а как вытащить все ссылки из sitemap. Т.е. не переходить по ним и парсить, просто выгрузить в CSV все ссылки. Паук выглядит так https://prnt.sc/vf0qli а что прописать в parse не понимаю.
как и с обычной страницы
источник

S

SoHard 🎄 in Scrapy
xpath для xml был и придуман
источник

ПА

Павел Асеев... in Scrapy
Я пробовал вот так https://prnt.sc/vf0vpe но не работает
источник