Телеграмм чат группы scrapy

requests.post('http://0.0.0.0:6800/schedule.json', data={
                'project': 'default',
                'spider': <spider_name>
            })

источник

19:37пожаловаться #10

(

(o_O) in Scrapy

scrapyd запускает пауков (в т.ч. параллельно). В общем-то и все

источник

19:37пожаловаться #11

(

(o_O) in Scrapy

Если вам надо api типа послал урл - получил данные, смотрите scrapy-rt

источник

19:39пожаловаться #12

Александр in Scrapy

Разве в кроне нет лимита с минимальной периодичностью в одну минуту?

источник

19:43пожаловаться #13

Oleg Shleiko in Scrapy

В кроне минута, верно

источник

19:43пожаловаться #14

(

(o_O) in Scrapy

А вы собираетесь пауков запускать чаще?

источник

19:44пожаловаться #15

Andrii in Scrapy

Человек наверное сам еще не знает что ему нужно

источник

19:44пожаловаться #16

Александр in Scrapy

Я хотел бы чтото типа послал урл и периодичность - запустился некий воркер или сервис (не силен в терминологии), который в цикле запускает парсинг с указанной периодичностью

источник

19:45пожаловаться #17

Александр in Scrapy

У меня уже все реализовано, но своими силами - выше указано

источник

19:46пожаловаться #18

Александр in Scrapy

тут

источник

19:46пожаловаться #19

Oleg Shleiko in Scrapy

цикличный парсинг одного и того же урла?

источник

19:46пожаловаться #20