Size: a a a

2020 March 02

AR

Andrey Rahmatullin in Scrapy
выглядит как много геморроя
источник

AB

Alexander B in Scrapy
Andrey Rahmatullin
выглядит как много геморроя
ага, так подумал когда увидел эти ссылки)) потому и пишу) ну вообщем то реальная задача?
источник

AR

Andrey Rahmatullin in Scrapy
не знаю
источник

AR

Andrey Rahmatullin in Scrapy
была б либа, из которой один метод торчит, а городить твистедовые протоколы это уже совсем другой уровень
источник

AR

Andrey Rahmatullin in Scrapy
https://github.com/mosquito/aio-pika ну вот это получше, но это 2.0 надо
источник

AB

Alexander B in Scrapy
а почему 2.0 ждать? тип скрапи на асинкио передлывают?
источник

AR

Andrey Rahmatullin in Scrapy
не переделывают, а добавляют поддержку
источник

AR

Andrey Rahmatullin in Scrapy
ну и она в мастере уже добавлена
источник

AR

Andrey Rahmatullin in Scrapy
релиз будет на днях
источник

AB

Alexander B in Scrapy
ладно, спасиб, буду про Deferreds читать пока
источник

МС

Михаил Синегубов in Scrapy
Andrey Rahmatullin
релиз будет на днях
😭, кто то еще перед выходными народ раззадорил...
источник

AR

Andrey Rahmatullin in Scrapy
мы хотели 29-го :)
источник

EB

Evgeny Bukharev in Scrapy
Alexander B
Привет, народ) нетривиальная задача у меня - хочу в пайплайне ходить в rabbit RPC вызовами из process_item: на коленке общение с ampq выглядит просто  https://www.rabbitmq.com/tutorials/tutorial-six-python.html, но ввиду асинхронности scrapy походу надо делать это через twisted. Есть ли у кого опыт/код похожих задач?
Какая задача в целом?
источник

🎩

🎩 Vlad in Scrapy
Andrey Rahmatullin
не переделывают, а добавляют поддержку
а где читать можно про обновления?
источник

AR

Andrey Rahmatullin in Scrapy
🎩 Vlad
а где читать можно про обновления?
в ветке release-notes пока что
источник

AB

Alexander B in Scrapy
Evgeny Bukharev
Какая задача в целом?
в целом забрасывать текст в развернутый через rabbit NLP, получать ответ, ну потом сохранять..
источник

🎩

🎩 Vlad in Scrapy
Andrey Rahmatullin
в ветке release-notes пока что
спасибо
источник

EB

Evgeny Bukharev in Scrapy
Alexander B
в целом забрасывать текст в развернутый через rabbit NLP, получать ответ, ну потом сохранять..
Если скрапи заводить как слушателя для rabbitMq, то в виду использования последнего twisted, будет куча проблем, по крайней мере у меня не получилось)
источник

AB

Alexander B in Scrapy
😞
источник

AB

Alexander B in Scrapy
ну попробую, я хочу именно rpc, типа иницирую подключение в open_spider, и потом запрос-ответ в process_item
источник