В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

663 membersпожаловаться на группу
2020 October 21

V

Victor in Scrapy
60 потоков - 99% загрузка ядра
источник
17:48пожаловаться#1

V

Victor in Scrapy
так то если скрапить просто и сохранять - то и 200 держит
источник
17:48пожаловаться#2

i

i in Scrapy
99% загрузка проца или одного ядра?
источник
17:48пожаловаться#3

V

Victor in Scrapy
я сейчас урлы разбил на 5 частей и запустил 5 процессов - по одному скраппи на каждый
источник
17:48пожаловаться#4

V

Victor in Scrapy
99% ядра
источник
17:48пожаловаться#5

A

Andrii in Scrapy
i
а что за файл? или не показали, опасную штуку-то?
докементация скрапи по мидлварах 😂
источник
17:49пожаловаться#6

i

i in Scrapy
ну т.е. проблема-то не в скрапи а в твоей обработке, сделай ее на мультитредовом пуле.
источник
17:49пожаловаться#7

A

Andrii in Scrapy
так еще сказал что за ето хочет 1000 рублей, я попросил цену в $, сразу стало 50$ 😂
источник
17:50пожаловаться#8

V

Victor in Scrapy
мультипроцессорном уж тогда. Но я там лок боюсь поймать. Уже было пару раз )  Скрапи крутится, лок мутится ))
источник
17:50пожаловаться#9

i

i in Scrapy
import multiprocessing
и т.д. когда вот ты страницу свою колбасишь - отправляй данные просто в соседний скрипт, например, и параллельно пусть оно молотит по всем ядрам процессора. правда, это надо наверное пайп придется писать, хз.
источник
17:51пожаловаться#10

V

Victor in Scrapy
ага оно
источник
17:52пожаловаться#11

V

Victor in Scrapy
Andrii
так еще сказал что за ето хочет 1000 рублей, я попросил цену в $, сразу стало 50$ 😂
так он в битках принимает, проси в битках - будет 50 битков сразу
источник
17:52пожаловаться#12

i

i in Scrapy
ну как вариант чтобы не мурыжиться - делишь урлы на чанки по ядрам, запускаешь все это на ээээ
источник
17:52пожаловаться#13

i

i in Scrapy
на вот этой дуре: https://scrapyd.readthedocs.io/en/stable/config.html?highlight=cpu#max-proc-per-cpu
источник
17:52пожаловаться#14

V

Victor in Scrapy
ну вот я так и сделал ) только запустил 5 раздельных скрапи
источник
17:53пожаловаться#15

i

i in Scrapy
и все. поделие имени костылей и палок готово
источник
17:53пожаловаться#16

V

Victor in Scrapy
ну да
источник
17:53пожаловаться#17

i

i in Scrapy
ну а круче у тебя и не выйдет, если у тебя в итоге выходит 99% загрузки по всем ядрам
источник
17:53пожаловаться#18

V

Victor in Scrapy
там скрапи стартует на 4х процах...а чего оно делается на одном только?
источник
17:54пожаловаться#19

i

i in Scrapy
дальше уже копать только в какие-то си-инлайны там или другие ускорения питона аля этого, как его
источник
17:54пожаловаться#20