VB
Или их всегда будет 16 + пулл?
Size: a a a
2020 April 16
AR
со скрапи или со своим скриптом?
VB
со скрапи или со своим скриптом?
скрапи
AR
да сколько можно
AR
в скрапи один поток
VB
Вот я вообще не понимаю в чём я ошибаюсь. У меня на 1 запрос в среднем уходит 15 секунд. При идеальных условиях за минуту я должен с 1 рекурентным запросом получить 4 страницы, с 40 - 160 верно? Но я получаю максимум 40
VB
Это же не нормально?
AR
убери всю постобработку
VB
Без неё
AR
и покажи Overridden settings: строчку
AR
ну, CONCURRENT_* оттуда хотя бы
VB
и покажи Overridden settings: строчку
INFO:scrapy.crawler:Overridden settings:
{'BOT_NAME': 'asin_parse',
'CONCURRENT_REQUESTS': 40,
'CONCURRENT_REQUESTS_PER_DOMAIN': 40,
'CONCURRENT_REQUESTS_PER_IP': 40,
'FEED_FORMAT': 'csv',
'HTTPCACHE_ENABLED': True,
'HTTPCACHE_EXPIRATION_SECS': 864000,
'HTTPCACHE_STORAGE': 'scrapy.extensions.httpcache.DbmCacheStorage',
'LOG_FILE': 'log.log',
'LOG_LEVEL': 'ERROR',
'NEWSPIDER_MODULE': 'amz_services.services.get_items_front.asin_parse.spiders',
'REACTOR_THREADPOOL_MAXSIZE': 100,
'SPIDER_MODULES': ['amz_services.services.get_items_front.asin_parse.spiders'],
'TELNETCONSOLE_PASSWORD': 'hy98Mh8D',
'TELNETCONSOLE_USERNAME': 'pydev'}
{'BOT_NAME': 'asin_parse',
'CONCURRENT_REQUESTS': 40,
'CONCURRENT_REQUESTS_PER_DOMAIN': 40,
'CONCURRENT_REQUESTS_PER_IP': 40,
'FEED_FORMAT': 'csv',
'HTTPCACHE_ENABLED': True,
'HTTPCACHE_EXPIRATION_SECS': 864000,
'HTTPCACHE_STORAGE': 'scrapy.extensions.httpcache.DbmCacheStorage',
'LOG_FILE': 'log.log',
'LOG_LEVEL': 'ERROR',
'NEWSPIDER_MODULE': 'amz_services.services.get_items_front.asin_parse.spiders',
'REACTOR_THREADPOOL_MAXSIZE': 100,
'SPIDER_MODULES': ['amz_services.services.get_items_front.asin_parse.spiders'],
'TELNETCONSOLE_PASSWORD': 'hy98Mh8D',
'TELNETCONSOLE_USERNAME': 'pydev'}
AR
а прокси?
VB
нет
AR
скрапить амазон с одного ипа?
VB
Я получаю хтмл уже
VB
В любом случае не в этом дело
AR
почему?
VB
Я через scraperapi.com
AR
и ты среднее время на запрос как считал?