G
Size: a a a
2020 April 26
A
Ну хоть скрин или код
AR
process = CrawlerProcess(settings=get_project_settings())
def _crawl(result, spider):
deferred = process.crawl(spider)
deferred.addCallback(_crawl, spider)
return deferred
_crawl(None, SpiderNameHereSpider)
process.start()запускаешь как-то странно, это точно
AR
но где здесь "мешают друг другу"?
G
запускаешь как-то странно, это точно
Ну у меня работает все вроде, все лупится
G
но где здесь "мешают друг другу"?
Типо я сейчас создал 2 парсер, пытаюсь его запустить а он тупо стоит на месте и все
AR
брр
2020 April 27
МС
Вот так запускаю
не мучайся, https://docs.scrapy.org/en/latest/topics/practices.html просто выбери нужный вариант и перепиши под себя.
Запуск 10 пауков - сразу возникает куча вопросов: параллельный или последовательный запуск, используют ли пауки данные друг друга, куда они данные пишут, не будет ли каких дедлоков при параллельной работе.
вообще, пробовал и параллельный и последовательный запуск из доки, все нормально работало. Пришлось повозиться с настройками... но это уже частности.
Запуск 10 пауков - сразу возникает куча вопросов: параллельный или последовательный запуск, используют ли пауки данные друг друга, куда они данные пишут, не будет ли каких дедлоков при параллельной работе.
вообще, пробовал и параллельный и последовательный запуск из доки, все нормально работало. Пришлось повозиться с настройками... но это уже частности.
AK
When I try to scrape a website it is throwing connection timed out error but when I open the same website in browser it is opening. It's content is rendered using Javascript and the website will not allow any bots to scrape. My question is, Is it possible to scrape this website or not?
AK
Anil Kumar
When I try to scrape a website it is throwing connection timed out error but when I open the same website in browser it is opening. It's content is rendered using Javascript and the website will not allow any bots to scrape. My question is, Is it possible to scrape this website or not?
Anyone please reply..
A
Anil Kumar
When I try to scrape a website it is throwing connection timed out error but when I open the same website in browser it is opening. It's content is rendered using Javascript and the website will not allow any bots to scrape. My question is, Is it possible to scrape this website or not?
Yes, it is possible
AK
Andrii
Yes, it is possible
But most of the times, out of 10 times I tried I got response only 1 or 2 times. But I have lot of data to scrape. What should I do?
A
Anil Kumar
But most of the times, out of 10 times I tried I got response only 1 or 2 times. But I have lot of data to scrape. What should I do?
Use proxy rotation and UA rotation, make bot behaviour to be more like human