В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

861 membersпожаловаться на группу
2021 May 20

А

Александр in Scrapy
Да
источник
19:46пожаловаться#1

S

SoHard 🎄 in Scrapy
тогда зачем скрапи?
источник
19:47пожаловаться#2

А

Александр in Scrapy
Все что я хотел - выяснить, нет ли более "Архитектурно-правильного" способа для этой задачи
источник
19:47пожаловаться#3

(

(o_O) in Scrapy
+1
источник
19:47пожаловаться#4

А

Александр in Scrapy
Я его использовал раньше, сейчас это на голанге с потоками
источник
19:47пожаловаться#5

А

Александр in Scrapy
Просто заинтересовало предложение выше с "менеджерами процессов"
источник
19:48пожаловаться#6

(

(o_O) in Scrapy
Если один урл, то тупо get+sleep
источник
19:48пожаловаться#7

А

Александр in Scrapy
И хотел узнать какие есть примеры так называемых менеджеров процессов
источник
19:48пожаловаться#8

А

Александр in Scrapy
Сейчас так и работает, спасибо
источник
19:48пожаловаться#9

(

(o_O) in Scrapy
дык systemd
источник
19:49пожаловаться#10

А

Александр in Scrapy
Думал, мало ли, есть более правильный вариант, с точки зрения архитектуры
источник
19:49пожаловаться#11

(

(o_O) in Scrapy
Если вам один урл, то конкурентность не нужна. Не усложняйте
источник
19:49пожаловаться#12

(

(o_O) in Scrapy
А так, если очень хочется, пишем spider, прикручиваем scrapy-rt и шлем в его апи запросы с любой переодичностью
источник
19:52пожаловаться#13

К

Кирилл in Scrapy
В systemd есть все что нужно для процессов, кроме легкости вхождения) но один раз разобраться и не нужно будет ничего левого ставить
источник
20:45пожаловаться#14

А

Александр in Scrapy
Нужно много урлов, но все с разной периодичностью
источник
20:47пожаловаться#15

А

Александр in Scrapy
Systemd не совсем подходит с периодичностью с точностью в секунды
источник
20:48пожаловаться#16

А

Александр in Scrapy
И судя по всему, действительно реальное решение - это асинхронно проходится по списку с урлами и периодичностью, делать запросы и sleep по периоду, а так же отлавливать новые урлы с периодичностью и добавлять их в список с уже существующими урлами
источник
20:51пожаловаться#17

А

Александр in Scrapy
По крайней мере, сейчас так реализованно
источник
20:51пожаловаться#18

А

Александр in Scrapy
Работает нормально, но такое чувство, как будто есть какие-то нюансы
источник
20:53пожаловаться#19

К

Кирилл in Scrapy
Да, пока скрапи запустится, пройдет достаточно много времени. Он должен в idle ждать новых ссылок, чтоб быстро отрабатывать
источник
20:59пожаловаться#20