Телеграмм чат группы scrapy

ставьте пайчарм, ну серьёзно

10:27пожаловаться #1

там просто scrapy crawl в итем пишешь

10:27пожаловаться #2

ёпт там и про пайчарм такое же пишут

10:29пожаловаться #3

это какие-то венда специфик проблемы что ли

10:29пожаловаться #4

МС

дядь, не нервничай так, на пичарме этого гемора и под виндой нету 😂

10:30пожаловаться #5

есть же!

10:30пожаловаться #6

How to use PyCharm to debug Scrapy projects

https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects вон, одно решение офигительнее другого

Stack Overflow

I am working on Scrapy 0.20 with Python 2.7. I found PyCharm has a good Python debugger. I want to test my Scrapy spiders using it. Anyone knows how to do that please?
What I have tried
Actually I...

10:30пожаловаться #7

половина конечно из 2014 и оставляет надежду что тогда и правда иначе было никак

10:31пожаловаться #8

но остальные то ли не смогли исполняемый файл scrapy на диске найти, то ли он у них не работает

10:31пожаловаться #9

МС

где? 👀
то что какие то лапухи про это пишут - не значит что оно есть,
я сам 50/50 под виндой сижу :)

10:31пожаловаться #10

МС

а, блин...
ты присмотрись к панельке, раньше только скриптом можно было запустить, через "модуль" нельзя

10:33пожаловаться #11

так я скриптом и запускаю, натурально

10:34пожаловаться #12

скрипт такой, scrapy называется

10:34пожаловаться #13

они вон его вскрывают, находят там scrapy.cmdline и запускают уже его зачем-то

10:35пожаловаться #14

МС

а, ну, это я хз. давно уже через модуль запускаю...

Снимок экрана 2021-06-22 в 11.44.54.png

10:36пожаловаться #15

Orekhov in Scrapy

(40.31 Кб)

Всем привет, могу этот кусок локально работает нормально(mac os) а на сервере дает таймаут(CentOs 7)?

11:45пожаловаться #16

что за UserAgent()?

11:46пожаловаться #17

Orekhov in Scrapy

from fake_useragent import UserAgent

урл
https://www.ozon.ru/api/composer-api.bx/page/json/v2?url=%2Fsearch%2F%3Ffrom_global%3Dtrue%26layout_container%3DsearchMegapagination%26layout_page_index%3D2%26sold_out_page%3D1%26text=granfest

11:47пожаловаться #18

Orekhov in Scrapy

11:48пожаловаться #19

урл-то нам зачем, виснет же код с ним не связанный