V
Size: a a a
2020 October 22
МС
Народ, если я запускаю одновременно несколько скраперов из одного проекта типа scrapy crawl spider1 & scrapy crawl spider2 & scrapy crawl spider3 - они CONCURRENT_ITEMS из сетингов между собой будут делить?
я прям точно не скажу, но в любом случае - ты из консольки запускаешь или через реактор?
МС
3 консольки - 3 совершенно разных процесса = у каждого свой экземпляр настроек
МС
просто у меня есть ощущение, что они потоки между собой делят. А так хотелось прироста скорости 😂
ты на один сайт их натравил?
МС
через проксю парсишь?
МС
ну в общем я чего то не вижу разницы, что 1 процесс у меня парсил, что 5...
тут не забывай что
1. через проксю или нет (сайт может тормозить скорость на один IP)
2. даже через проксю - то ограничение может давать сервис прокси
3. ну и, возможности компа, канала, провайдера
1. через проксю или нет (сайт может тормозить скорость на один IP)
2. даже через проксю - то ограничение может давать сервис прокси
3. ну и, возможности компа, канала, провайдера
i
Connection - secure connection settings
The connection to this site is encrypted and authenticated using TLS 1.3, X25519, and AES_256_GCM.
The connection to this site is encrypted and authenticated using TLS 1.3, X25519, and AES_256_GCM.
может тут баг зарыт какой-то? почему с v1.1 работает?
AR
откуда я знаю
AR
смотря как именно "не работает"
СТ
вечером под убунтой гляну
агроменный сенкс @floitet за волшебный пинок в верном направлении :)
агроменный сенкс @floitet за волшебный пинок в верном направлении :)
ноу проблем бро )
СТ
смотря как именно "не работает"
403, Forbidden
i
смотря как именно "не работает"
тык эта, да, мы же про авито.