Size: a a a

2019 August 01

Y

Yurii in Scrapy
Наверное чтоб мозг не утекал или hh какой пролоббировал тему
источник

s

serhii in Scrapy
запустили вы скрапи проект и остановились где-то отладчиком.
как посмотреть, какой юзер-агент используется в данном месте кода?
источник

К

Кирилл in Scrapy
в хедере реквеста
источник

s

serhii in Scrapy
Кирилл
в хедере реквеста
в response никак?
источник

К

Кирилл in Scrapy
response.request.headers
источник

s

serhii in Scrapy
Кирилл
response.request.headers
thanks
источник

s

serhii in Scrapy
парни, вот я хочу прописать условие, чтобы паук вышел, когда это условие сработает.
т.е. он дальше никуда не бегал..
что-то наподобие break , знаете, как это реализовать?
источник

К

Кирилл in Scrapy
raise CloseSpider
источник

К

Кирилл in Scrapy
источник

s

serhii in Scrapy
ты меня сегодня выручаешь. сенкс.
источник

B

Bulatbulat48 in Scrapy
Кирилл
raise CloseSpider
+
источник

МС

Михаил Синегубов in Scrapy
народ, не по скрапи вопрос.
кто нить озадачивался каталогом кусков кода? Просто поднакапливаются уже "полезности" всякие. И уже сложновато искать по проекстам
У кого что-то есть какие удобства насчет этого?
источник

К

Кирилл in Scrapy
в пайплайны и миделверы выносить, пакеты делать
можно ещё как сниппеты забить в IDE если маленький кусок кода
источник

К

Кирилл in Scrapy
Михаил Синегубов
народ, не по скрапи вопрос.
кто нить озадачивался каталогом кусков кода? Просто поднакапливаются уже "полезности" всякие. И уже сложновато искать по проекстам
У кого что-то есть какие удобства насчет этого?
а есть что интересное?)
источник

МС

Михаил Синегубов in Scrapy
Кирилл
а есть что интересное?)
я то как раз в вялотекущем поиске 😂.
тока вчера свой пайп искал, где картинки именовал....

сниппеты - это же локально? не совсем удобно
источник

МС

Михаил Синегубов in Scrapy
наверное, либо портабл (синхронизировать через яндекс), либо онлайн...
источник

К

Кирилл in Scrapy
сниппеты тоже можно в плагины делать для pycharm к примеру, но тут уже кто на чём сидит
источник

Y

Yurii in Scrapy
В записную книжку заносить
источник

s

serhii in Scrapy
Михаил Синегубов
народ, не по скрапи вопрос.
кто нить озадачивался каталогом кусков кода? Просто поднакапливаются уже "полезности" всякие. И уже сложновато искать по проекстам
У кого что-то есть какие удобства насчет этого?
оформлять в пакет и на пайпиай заливать.
плюсы -
1. удобно устанавливать в будущем
2. польза комюнити
3. польза и себе, есть что-то толковое на гитхабе - больше процент, что возьмут на работу.
источник

МС

Михаил Синегубов in Scrapy
serhii
оформлять в пакет и на пайпиай заливать.
плюсы -
1. удобно устанавливать в будущем
2. польза комюнити
3. польза и себе, есть что-то толковое на гитхабе - больше процент, что возьмут на работу.
хм, мысль толковая, но, большая часть кода пока в виде "вот эти три строчки" и "вот эту процедурку" :)))
источник