В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

847 membersпожаловаться на группу
2021 April 21

МС

Михаил Синегубов... in Scrapy
Шедулер ничего не знает про уже отправленные запросы
источник
14:50пожаловаться#1

МС

Михаил Синегубов... in Scrapy
Ты фильтр дубликатов отключил?
источник
14:51пожаловаться#2

П

Пастырь in Scrapy
Пока нет, думаю как реализовать запуск
источник
14:51пожаловаться#3

П

Пастырь in Scrapy
Я думал кроном, но блин, может в задачу на парсинг попасть 5 урлов, а может 35
источник
14:51пожаловаться#4

МС

Михаил Синегубов... in Scrapy
Вопрос - почему нельзя терять инстанс?
источник
14:51пожаловаться#5

П

Пастырь in Scrapy
Да можно по идее
источник
14:52пожаловаться#6

МС

Михаил Синегубов... in Scrapy
Если ты будешь брать из базы, то начхать
Либо я условия не понял
источник
14:53пожаловаться#7

П

Пастырь in Scrapy
1. Запускается паук, лезет в базу и берет список урл, которые уже были обработаны
2. Лезет на страницу, собирает урл
3. Сравнивает, есть ли такие в базе
4. Если совпадение не найдено, отправляет парсить, если нет, пропускает
источник
14:54пожаловаться#8

П

Пастырь in Scrapy
И вот это все я хочу запустить с таймаутом, допустим в секунд 5-10
источник
14:54пожаловаться#9

МС

Михаил Синегубов... in Scrapy
Ну, такое и на кроне можно.
Только предусмотреть запрет двойного запуска
источник
14:55пожаловаться#10

МС

Михаил Синегубов... in Scrapy
5-10 секунд, скрапи не успеет,
источник
14:55пожаловаться#11

П

Пастырь in Scrapy
в том и проблема, что данных может быть 4, а может и 34. Авито такой непредсказуемый
источник
14:55пожаловаться#12

П

Пастырь in Scrapy
Поэтому я и подумал, что инстанс не успеет завестись
источник
14:56пожаловаться#13

МС

Михаил Синегубов... in Scrapy
Я щас пропаду... на пару часов
источник
14:56пожаловаться#14

МС

Михаил Синегубов... in Scrapy
Такое лучше на полном самописе по моему
источник
14:56пожаловаться#15

П

Пастырь in Scrapy
Не дорос я еще до асинхронного самописа
источник
14:57пожаловаться#16

МС

Михаил Синегубов... in Scrapy
Тогда на spider_idle
источник
14:58пожаловаться#17

МС

Михаил Синегубов... in Scrapy
Либо шедулер свой написать
источник
14:58пожаловаться#18

D•

Dan • Captain in Scrapy
зачем, если есть apscheduler
источник
15:11пожаловаться#19

E

Evgen in Scrapy
Можно просто чтоб крор проверял а не запущен ли скрапи
источник
15:32пожаловаться#20