A
с такими
Size: a a a
2020 October 21
ЛГ
Andrii
бл....щас скину переписку
:D
i
Можно ли в скрапи один спайдер запустить так чтобы он на нескольких ядрах проца выполнялся? В разных процессах?
а зачем тебе? ты уже добился заветной цифры в 4-4.5к айтемсов в секунду (упс, в минуту!) и хочешь еще больше прироста скорости? просто скрапи обычно жрет ну 5-20% проца. Основной простой в IO, и не дисковом, а самого интернетика=сайта, который ты парсишь. Но вообще, можешь покопать в ту сторону: https://scrapyd.readthedocs.io/en/stable/config.html?highlight=cpu#max-proc-per-cpu
МС
ЛГ
Хакер мне сказал что , то что вы просите используют в основном для этого .
ЛГ
это в цитаты
V
а зачем тебе? ты уже добился заветной цифры в 4-4.5к айтемсов в секунду (упс, в минуту!) и хочешь еще больше прироста скорости? просто скрапи обычно жрет ну 5-20% проца. Основной простой в IO, и не дисковом, а самого интернетика=сайта, который ты парсишь. Но вообще, можешь покопать в ту сторону: https://scrapyd.readthedocs.io/en/stable/config.html?highlight=cpu#max-proc-per-cpu
У меня тормозит обработка данных, которые скачались. А делать так чтобы сначала скачать, а потом обработать - не очень хочется. Там места нужно ооочень много.