E
http или socks5Size: a a a
2019 July 29
JW
А поповоду пул реквеста, вы просто скачали с гитхаба файл, и скопировали его в C:\Users\USERNAME\AppData\Local\Programs\Python\Python36\Lib\site-packages\scrapy_proxies
Заменив там randomproxy.py?
Заменив там randomproxy.py?
МС
народ, кто нить делал последовательный запуск нескольких пауков?
если грубо, то каждый паук использует для работы результат предыдущего
тока, плз, именно кто так делал, а то я знаю все эти "вот вроде в этом месте мануала это написано"... 😁
если грубо, то каждый паук использует для работы результат предыдущего
тока, плз, именно кто так делал, а то я знаю все эти "вот вроде в этом месте мануала это написано"... 😁
МС
не могу себе в мозг вдолбить, как в принципе это сделать
АН
не могу себе в мозг вдолбить, как в принципе это сделать
Ты прям хочешь каким-то невообразимым образом передавать данные или что вообще?
МС
Ты прям хочешь каким-то невообразимым образом передавать данные или что вообще?
мне надо последовательно, несколькими пауками обработаьт данные.
в один не хочется совать, 100500 методов в пауке будет, да и хренова куча условий
данные в базе будет
в один не хочется совать, 100500 методов в пауке будет, да и хренова куча условий
данные в базе будет
МС
можно как в доках делать
в спайдера можно передавать что хочешь
process = CrawlerProcess()
process.crawl(MySpider1)
process.crawl(MySpider2)
в спайдера можно передавать что хочешь
а это не параллельно два паука запустить разве?
К
а это не параллельно два паука запустить разве?
вроде нет, сейчас чекну
АН
мне надо последовательно, несколькими пауками обработаьт данные.
в один не хочется совать, 100500 методов в пауке будет, да и хренова куча условий
данные в базе будет
в один не хочется совать, 100500 методов в пауке будет, да и хренова куча условий
данные в базе будет
А что за система? На винде я просто батником их просто вызываю, друг за другом стартуют)
МС
батник не проканает...
ээх, ладн, пойду погуглю чтоль 😂
ээх, ладн, пойду погуглю чтоль 😂
АН
батник не проканает...
ээх, ладн, пойду погуглю чтоль 😂
ээх, ладн, пойду погуглю чтоль 😂
Не винда?)