В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

853 membersпожаловаться на группу
2021 April 29

К

Кирилл in Scrapy
100 страниц, это не повод для очередей
источник
20:25пожаловаться#1

S

Swain in Scrapy
Тебе же не нужно что-то супер-гибкое.
источник
20:25пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
два, обычно неизвестно заранее количество страниц
источник
20:26пожаловаться#3

S

Soare in Scrapy
их 16к, а 100 для примера написал
источник
20:26пожаловаться#4

S

Soare in Scrapy
в моем случае известно
источник
20:26пожаловаться#5

S

Swain in Scrapy
Ну вдруг у него каталог как на ридманге.
источник
20:26пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
разбей на три батча, запусти паука три раза
источник
20:26пожаловаться#7

S

SoHard 🎄 in Scrapy
или три паука сразу)
источник
20:27пожаловаться#8

S

Swain in Scrapy
На каждого паука по прокси?
источник
20:27пожаловаться#9

S

Swain in Scrapy
Дудос прям какой-то.
источник
20:27пожаловаться#10

AR

Andrey Rahmatullin in Scrapy
про прокси речи не было
источник
20:27пожаловаться#11

S

Swain in Scrapy
С одного ip?
источник
20:27пожаловаться#12

S

Soare in Scrapy
с проксей
источник
20:27пожаловаться#13

S

Swain in Scrapy
Мне кажется он хочет быстрее распарсить.
источник
20:27пожаловаться#14

S

SoHard 🎄 in Scrapy
можно же сделать счетчик какой-то и в зависимости от счётчика кукисы брать нужные
источник
20:27пожаловаться#15

S

Soare in Scrapy
воот это я и думаю сделать
источник
20:28пожаловаться#16

S

Swain in Scrapy
if counter < 30......
источник
20:29пожаловаться#17

S

Swain in Scrapy
sticker.webp
(34.66 Кб)
источник
20:29пожаловаться#18

x\

xal.py \-_-/ in Scrapy
sticker.webp
(17.44 Кб)
источник
20:29пожаловаться#19

S

Swain in Scrapy
Решение с счётчиком скорее всего будет костыльнее, чем просто разделить на подгруппы.
источник
20:30пожаловаться#20