только не надо айпи вычислять, пожалуйста

hello

i am new to this group and found scrapy over google and found it useful.

what do you think about the full scrape time of whole amazon.com products? how much time one cycle will take to scrape the all products?

after that only checking prices?

It's up to u, how many proxies, and servers you'll use

1-2 weks

weeks?

yes

like 50 proxies 1 16gb 6 cpu vps server?

hmm thats too much time

maybe faster, but need build something custom and buy thousands of proxies

1 week is for one vps instance and 500-1000 proxies

alright thank you for the replies

лул

откуда здесь англоговорящие

из поиска, вестимо.
единственная группа в телеге по скрапи, причем упомянутая на офф. сайте...

уу ничего себе круто

Пусть учат русский

++

Ребята что значит многопроцессорный парсинг и используется ли он в скрапи? Может есть ссылка на какой то ресурс, Гугл выдает форумы, но там не разжевывается "для таких как я"(

когда каждый камушек в процессоре занят своим процессом, гуглится по слову "многопоток".
скрапи однопоточный, у него только запросы асинхроннные
синхронные запросы - отправил запрос, дождался ответа, отправил след. запрос
асинхронные запросы - отправил разом 100500 мульёнов запросов, и по мере поступления ответов, обрабатываешь
многопоток  - у тебя 100500 потоков шлют одновременно 100500 запросов (синхрн или асинхрон - это кто насколько извратится) и так же одновременно обрабатывается