В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

684 membersпожаловаться на группу
2020 November 07

S

SoHard 🎄 in Scrapy
Andrii
Для начала юзай скрапи
Можно не надо)
источник
23:38пожаловаться#1

S

SoHard 🎄 in Scrapy
Илья
если в headers засунуть cookies, то все ок. Но я знаю, что так делать нельзя
Я же писал
источник
23:39пожаловаться#2

S

SoHard 🎄 in Scrapy
Для кукисов cookies=
источник
23:39пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
я повторюсь, у него не скрапи
источник
23:40пожаловаться#4

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
я повторюсь, у него не скрапи
В реквесте же тоже
источник
23:41пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
ну ладно
источник
23:41пожаловаться#6

S

SoHard 🎄 in Scrapy
requests.get(url, cookies=cookies)
источник
23:45пожаловаться#7

S

SoHard 🎄 in Scrapy
Не надо писать в личку
источник
23:50пожаловаться#8

S

SoHard 🎄 in Scrapy
Когда
источник
23:50пожаловаться#9

S

SoHard 🎄 in Scrapy
Вас
источник
23:51пожаловаться#10

S

SoHard 🎄 in Scrapy
Не
источник
23:51пожаловаться#11

S

SoHard 🎄 in Scrapy
Просят
источник
23:51пожаловаться#12

S

SoHard 🎄 in Scrapy
Или не разрешили
источник
23:51пожаловаться#13

8

85345 in Scrapy
окей
источник
23:52пожаловаться#14
2020 November 08

D

Dmitrij in Scrapy
Andrey Rahmatullin
плюс-минус да
А есть ли максимальное значение для параметра CONCURRENT_REQUESTS? Или неограниченно?
источник
00:05пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
Не задумывался, наверно нет
источник
00:07пожаловаться#16

D

Dmitrij in Scrapy
Спасибо
источник
00:11пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
Dmitrij
Скажите, пожалуйста, правильно ли я понимаю смысл параметра CONCURRENT_REQUESTS. Если, например, мне нужно соскрапить данные со 128 линков, и я установлю этот параметр равным 128, то скрапи в первую же секунду работы отправит запросы на все 128 страницы? Или это как-то по-другому работает?
Кстати там ещё _PER_DOMAIN ограничит
источник
00:14пожаловаться#18

D

Dmitrij in Scrapy
Но если сделать эти параметры равными друг другу, то друг друга они не ограничат, правильно?
источник
00:15пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
Да
источник
00:16пожаловаться#20