Size: a a a

2020 March 02

AR

Andrey Rahmatullin in Scrapy
при чём тут это вообще
источник

AR

Andrey Rahmatullin in Scrapy
строки с 5 по 8
источник

AR

Andrey Rahmatullin in Scrapy
вопросы к ним
источник

AR

Andrey Rahmatullin in Scrapy
там нет ни селениума, ни кликов, ни джс
источник

A

Andrii in Scrapy
Круто спросил о совете (направление на правильный путь).
источник

AR

Andrey Rahmatullin in Scrapy
я всё рассказал по два раза, безо всяких направлений
источник

A

Andrii in Scrapy
get() там потому что если getall() -->
TypeError: Request url must be str or unicode, got list:
когда              yield scrapy.Request(firm_url, callback=self.parse_firm) -->   def parse_firm(self, response):
источник

AR

Andrey Rahmatullin in Scrapy
ну ок раз так
источник

AR

Andrey Rahmatullin in Scrapy
но ссылка возвращается одна потому что код просит одну
источник

AR

Andrey Rahmatullin in Scrapy
а getall() действительно возвращает лист, как бы ему ещё несколько ссылок-то вернуть
источник

AR

Andrey Rahmatullin in Scrapy
логично что результат getall() надо итерировать
источник

A

Andrii in Scrapy
так у меня ж вопрос -- как ето правильно сделать
источник

AR

Andrey Rahmatullin in Scrapy
getall()
источник

AR

Andrey Rahmatullin in Scrapy
будет список ссылок
источник

AR

Andrey Rahmatullin in Scrapy
по списку ссылок итерировать как обычно
источник

AB

Alexander B in Scrapy
Привет, народ) нетривиальная задача у меня - хочу в пайплайне ходить в rabbit RPC вызовами из process_item: на коленке общение с ampq выглядит просто  https://www.rabbitmq.com/tutorials/tutorial-six-python.html, но ввиду асинхронности scrapy походу надо делать это через twisted. Есть ли у кого опыт/код похожих задач?
источник

AR

Andrey Rahmatullin in Scrapy
дождаться 2.0 хехе
источник

AR

Andrey Rahmatullin in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
и деферредами кидаться
источник

AR

Andrey Rahmatullin in Scrapy
источник