МС
Не винда?)
прод - не
Size: a a a
2019 July 29
АН
А баш скрипт какой-нибудь почему нет? По тому же принципу наверно будет
К
а это не параллельно два паука запустить разве?
Да, это параллельно
вот, это пробовал?
вот, это пробовал?
runner = CrawlerRunner()
@defer.inlineCallbacks
def crawl():
yield runner.crawl(MySpider1)
yield runner.crawl(MySpider2)
reactor.stop()
crawl()
reactor.run()
МС
угу, как раз сейчас его смотрю :)
К
мне надо последовательно, несколькими пауками обработаьт данные.
в один не хочется совать, 100500 методов в пауке будет, да и хренова куча условий
данные в базе будет
в один не хочется совать, 100500 методов в пауке будет, да и хренова куча условий
данные в базе будет
ещё можешь субклассы сделать, и туда разную логику запихнуть
ещё можно через редис сделать
короче вариантов куча)
ещё можно через редис сделать
короче вариантов куча)
2019 July 30
MV
MV
есть какие-либо воркераунды?
К
кто-то юзал на 3-тьем пайтоне https://github.com/sebdah/scrapy-mongodb ?
я им пользуюсь, правда код уже несколько не соответсует изначальному, а что за ошибка? там же ~250 строк, фиксить быстро
AB
есть какие-либо воркераунды?
форкнуть и портировать на третью версию самому?
MV
MV
несколько страниц scrapy+mongodb на гитхабе, выбирай
да мне не влом это самому запилить) просто хотел чтобы оно было "красиво")
MV
MV
