В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

841 membersпожаловаться на группу
2021 April 21

OS

Oleg Shleiko in Scrapy
что ты имеешь ввиду под нодой?
источник
11:59пожаловаться#1

МС

Михаил Синегубов... in Scrapy
транзакции, многопользовательский доступ и прочая хренотень
источник
11:59пожаловаться#2

A

Andrii in Scrapy
Ну видимо бд не успевает 48 пауков писать
источник
12:00пожаловаться#3

МС

Михаил Синегубов... in Scrapy
кста, двиг какой?
источник
12:00пожаловаться#4

A

Andrii in Scrapy
Двиг?
источник
12:00пожаловаться#5

МС

Михаил Синегубов... in Scrapy
что за база?
источник
12:00пожаловаться#6

A

Andrii in Scrapy
Внутреная скрапида
источник
12:01пожаловаться#7

A

Andrii in Scrapy
Та что он для логирования юзает
источник
12:01пожаловаться#8

МС

Михаил Синегубов... in Scrapy
SQLite, postresql, MySQL....
источник
12:01пожаловаться#9

OS

Oleg Shleiko in Scrapy
там редис вроде, не?
источник
12:01пожаловаться#10

A

Andrii in Scrapy
Постгрес как я помню
источник
12:01пожаловаться#11

МС

Михаил Синегубов... in Scrapy
ээээ, че то я ничего, кроме SQLite не нахожу по исходникам...
оно точно в базу пишет?
источник
12:06пожаловаться#12

A

Andrii in Scrapy
Блин, то скрапидвеб база)
источник
12:07пожаловаться#13

МС

Михаил Синегубов... in Scrapy
ну, а пауки куда кладут? уж не JsonLines ?
источник
12:08пожаловаться#14

МС

Михаил Синегубов... in Scrapy
чет мне помнится, что скрапид только как "управление работой", а "хранение данных - забота пользователя"
но это не точно
источник
12:09пожаловаться#15

A

Andrii in Scrapy
Имено)
источник
12:09пожаловаться#16

П

Пастырь in Scrapy
ребят, а не подскажете с реализацией.
Как я могу реализовать цикличный запуск паука, без потери инстанса.
Допустим мне нужно чекать каждые 30 секунд одну страницу, и при добавлении новых урл распаршивать их. После чего запускать чек по новой
источник
14:43пожаловаться#17

П

Пастырь in Scrapy
Если я это реализую перед закрытием паука, все равно же шедуль хранит посещеные адреса?
источник
14:46пожаловаться#18

МС

Михаил Синегубов... in Scrapy
Хранит, но ты можешь сказать dont_filter = True.
И хранит не шедулер а фильтр дубликатов
источник
14:49пожаловаться#19

П

Пастырь in Scrapy
у меня урлы програмно чистятся, с помощью list(set()), и из базы берутся для чека
источник
14:50пожаловаться#20