В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

663 membersпожаловаться на группу
2020 October 21

AR

Andrey Rahmatullin in Scrapy
Скрапи однопоточный.
источник
17:55пожаловаться#1

i

i in Scrapy
ну ты запускай через scrapyd, вангую будет тебе на четырех по отдельному скрапи
источник
17:55пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
И да, выносить обработку, но это ж думать надо
источник
17:55пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
Ну и блокирующая обработка один хрен блочит весь скрапи (зато думать не надо)
источник
17:56пожаловаться#4

i

i in Scrapy
i
дальше уже копать только в какие-то си-инлайны там или другие ускорения питона аля этого, как его
короче я забыл как этот быстрый питон называется. ну или там на го или расте написать. или быструю либу найти какую-нибудь, которая или mkl, или simd, или GPU юзает
источник
17:56пожаловаться#5

G

Georgiy in Scrapy
Victor
Можно ли в скрапи один спайдер запустить так чтобы он на нескольких ядрах проца выполнялся? В разных процессах?
год назад писали, что вроде бы можно это (или не совсем это) сделать средствами twisted .. deferToThread, но это еще не достаточно документировано
https://github.com/scrapy/scrapy/issues/3850
источник
17:57пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Что там документировать
источник
17:58пожаловаться#7

i

i in Scrapy
да раз ему даже айтемсы не нужны, можно просто наладить общение с соседним скриптом на multiprocessing, который молотит данные. Ну либо на scrapyd запустить попробовать и указать эти max-proc и max-proc-per-cpu и может даже взлетит условная "параллель" по всем ядрам
источник
17:59пожаловаться#8

i

i in Scrapy
вариант - переписать обработку, потыркать там в пичарме этот профилировщик, глянуть кто больше всего времени жрет, оптимизировать эту штуку
источник
18:00пожаловаться#9

V

Victor in Scrapy
А как скрапи в пичарме пульнуть?
источник
18:00пожаловаться#10

V

Victor in Scrapy
я ее только через терминал умею запускать
источник
18:00пожаловаться#11

ЛГ

Лев Гареев in Scrapy
Victor
А как скрапи в пичарме пульнуть?
я через анаконду
источник
18:00пожаловаться#12

ЛГ

Лев Гареев in Scrapy
ебашу
источник
18:00пожаловаться#13

ЛГ

Лев Гареев in Scrapy
она у меня в стандартное окружение не встает
источник
18:01пожаловаться#14

i

i in Scrapy
помню вот на одном проекте открыл для себя вместо import json на import orjson и все, job done)))
источник
18:01пожаловаться#15

V

Victor in Scrapy
пфф
источник
18:01пожаловаться#16

i

i in Scrapy
Victor
А как скрапи в пичарме пульнуть?
не понял вопроса, так же как любой питонячий скрипт. Ну я да, через окружение конды запускаю, просто потому-что через конду оно там меньше на старте индексирует питонолибы почему-то
источник
18:02пожаловаться#17

ЛГ

Лев Гареев in Scrapy
i
не понял вопроса, так же как любой питонячий скрипт. Ну я да, через окружение конды запускаю, просто потому-что через конду оно там меньше на старте индексирует питонолибы почему-то
у меня на обычном вообще не вставало никак :D
источник
18:02пожаловаться#18

V

Victor in Scrapy
вот и у меня
источник
18:02пожаловаться#19

ЛГ

Лев Гареев in Scrapy
Victor
вот и у меня
через конду
источник
18:02пожаловаться#20