В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

861 membersпожаловаться на группу
2021 May 20

А

Александр in Scrapy
У скрапи есть scrapyd, который позволяет хостить пауков и по апишке их дергать
источник
20:59пожаловаться#1

А

Александр in Scrapy
Вопрос был в реализации сервиса, который бы их дергал с периодичностью меньше чем в минуту
источник
21:00пожаловаться#2

К

Кирилл in Scrapy
Там точно так же будет долго запускаться
источник
21:00пожаловаться#3

К

Кирилл in Scrapy
Посмотри исходники как скрапид создает пауков
источник
21:01пожаловаться#4

OS

Oleg Shleiko in Scrapy
это уже от настроек зависит...
источник
21:01пожаловаться#5

А

Александр in Scrapy
Проверял, вроде колдстарт примерно 2 секунды
источник
21:01пожаловаться#6

OS

Oleg Shleiko in Scrapy
мне кажется всё быстрее у нас работает
источник
21:02пожаловаться#7

К

Кирилл in Scrapy
systemd форкает, scrapyd форкает... Примерно тоже самое
источник
21:10пожаловаться#8

OS

Oleg Shleiko in Scrapy
Разъясни плз что такое форкает)
источник
21:14пожаловаться#9

К

Кирилл in Scrapy
Системный вызов который создает процесс, fork. Я про то, что если нужно быстродействие и отклик, что аж прям секунды считают, то создание процесса никогда не сравниться с уже работающим и ждущим пауком
источник
21:16пожаловаться#10

(

(o_O) in Scrapy
фокает процесс себя, а это spawn
источник
21:18пожаловаться#11

OS

Oleg Shleiko in Scrapy
спасибо
источник
21:19пожаловаться#12

OS

Oleg Shleiko in Scrapy
спасибо
источник
21:19пожаловаться#13

К

Кирилл in Scrapy
А в чем разница?
источник
21:20пожаловаться#14

(

(o_O) in Scrapy
И еще раз, гляньте на scrapy-rt (не scrapyd)
источник
21:20пожаловаться#15

(

(o_O) in Scrapy
Форк - это копирование процесса, т.е. получаем полную его копию и шаред мемори в придачу. А разнородные процессы просто запускаются (spawn).
источник
21:22пожаловаться#16

К

Кирилл in Scrapy
Они всегда форкаются. Только разница в том, продолжается ли выполнение текущего текста или загружается новый
источник
21:23пожаловаться#17

К

Кирилл in Scrapy
Все процессы исходят форками от нулевого процесса
источник
21:23пожаловаться#18

(

(o_O) in Scrapy
Спорить не буду, я ядро линукса не читал.
источник
21:24пожаловаться#19

К

Кирилл in Scrapy
Я имел ввиду от первого, который инит
источник
21:28пожаловаться#20