Телеграмм чат группы scrapy_python страница 728

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу

2019 July 16

AS

Alexander Serebrov in Scrapy

так парни у меня снова затык, в этот раз с item и ItemLoader. сделал паука, грабит список продуктов, и спавнит реквесты на страницы с товаром. ответы отрабатываю методом

get_infos(self, response, itemloader: ItemLoader)

, то есть передаю текущий ItemLoader объект, чтобы в там его дополнить нужной инфой. но как-то с этим у меня полная просрация случается. вот минимальный пример: https://pastebin.com/y9r8CN7p

38 строчка должна быть

itemloader.add_css('tags', '.tags.expandable .search__link::text')

[Python] load of shit - Pastebin.com

лучше пробрасывать айтем через мету meta = {'item': loader.load_item()}, а потом создавать новый лоадер в следующем методе loader = ItemLoader(response=response, item=response.meta['item'])

источник

13:55пожаловаться #1

AB

не слишком понятна проблема, ошибка какая вызывается, в каком месте кода, скинутого.

что не так:? то, что заполняет

get_infos

тупо игнорится, когда метод

parse

возвращает item

источник

14:01пожаловаться #2

AB

Alexander Serebrov

лучше пробрасывать айтем через мету meta = {'item': loader.load_item()}, а потом создавать новый лоадер в следующем методе loader = ItemLoader(response=response, item=response.meta['item'])

но почему не напрямую? что же там за страшные вещи под капотом происходят.

источник

14:02пожаловаться #3

s

serhii in Scrapy

tags_res - type его какой?

источник

14:03пожаловаться #4

AB

tags_res - type его какой?

scrapy.http.response.html.HtmlResponse конечно.

источник

14:04пожаловаться #5

i

ildar in Scrapy

а ты уверен что так можно делать?
itemloader = self.get_infos
я к тому, что ты вроде как набрасываешь методами сначала item_loader, а потом переопределяешь переменную, ты уверен, что у тебя он продукт_урл, тайтл и артист сохраняет?

источник

14:10пожаловаться #6

i

ildar in Scrapy

это раз, и два, если шото где-то стопится - то не юзай return, юзай yield

источник

14:11пожаловаться #7

AB

не особо, я посмотрел на пример из inline-requests, и пытался его адаптировать к работе с айтемами

источник

14:11пожаловаться #8

AB

https://github.com/rmax/scrapy-inline-requests/blob/master/example/stackoverflow.py

rmax/scrapy-inline-requests

A decorator to write coroutine-like spider callbacks. - rmax/scrapy-inline-requests

источник

14:11пожаловаться #9

i

ildar in Scrapy

а тебе пичарм желтеньким не подсвечивает двойное определение itemloader?

источник

14:13пожаловаться #10

i

ildar in Scrapy

а чего инлайн реквестс этот вообще делает?

источник

14:13пожаловаться #11

AB

он переопределяет его же собой.

источник

14:14пожаловаться #12

AB

а тебе пичарм желтеньким не подсвечивает двойное определение itemloader?

он переопределяет его же собой,
сперва, я конечно пробовал просто так вызывать get_infos без присваивания, и столкнулся с этой проблемой, что результат get_infos никуда не записывается.

источник

14:16пожаловаться #13

i

ildar in Scrapy

я вообще пытаюсь ща осмыслить чо эта либа делает)

источник

14:16пожаловаться #14

i

ildar in Scrapy

в стиле, нафига она нужна?

источник

14:16пожаловаться #15

AB

я вообще пытаюсь ща осмыслить чо эта либа делает)

как я понимаю, позволяет делать несколько реквестов "параллельно"

источник

14:17пожаловаться #16

AB

Alexander Serebrov

лучше пробрасывать айтем через мету meta = {'item': loader.load_item()}, а потом создавать новый лоадер в следующем методе loader = ItemLoader(response=response, item=response.meta['item'])

по быстрому гуглингу так и советуют, спасибо. попробую так.

источник

14:20пожаловаться #17

i

ildar in Scrapy

я пока ничо не понял, но вангую тебе надо как-то вот это:
item = FreepikScraperItem()
itemloader = ItemLoader(item=item, selector=article)
засунуть внутрь get_infos, чтобы он оттуда такой модный возвращалсо,и убрать эти строчки из parse

источник

14:21пожаловаться #18

i

ildar in Scrapy

и этот вот вызов на самый верх передвинуть, что-ли... itemloader = self.get_infos(tags_res, itemloader)

источник

14:22пожаловаться #19

AB

get_infos парсит совсем другой респонс

источник

14:22пожаловаться #20