В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

860 membersпожаловаться на группу
2021 May 28

AR

Andrey Rahmatullin in Scrapy
проблемы я вообще не услышал пока
источник
10:03пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
"куки разные" проблемой не является
источник
10:03пожаловаться#2

Э

Эдуард in Scrapy
На этом этапе нет проблемы, а дальше эти куки уже не катят. Ладно, спасибо! Дальше поколупаю, может быть сформирую вопрос точнее
источник
10:06пожаловаться#3

A

Andrii in Scrapy
Хелоу, ПродуктХант кто-то скрепил? У меня прикол - пол сайта ок, пол с таким 
requests.exceptions.SSLError: HTTPSConnectionPool(host='startbotnet.com', port=443): Max retries exceeded with url: /?ref=producthunt (Caused by SSLError(SSLError(1, '[SSL: TLSV1_UNRECOGNIZED_NAME] tlsv1 unrecognized name (_ssl.c:11
08)')))
источник
15:38пожаловаться#4

(

(o_O) in Scrapy
Ошибка вообще не от producthunt.com а от startbotnet.com. Задай ограничение в атрибуте allow_domains спайдера
источник
15:41пожаловаться#5

(

(o_O) in Scrapy
А на  startbotnet.com ssl нет, вот и ругается
источник
15:41пожаловаться#6

A

Andrii in Scrapy
а все понял, просто мега протупил в другом. Вместо респонс.гет, написал реквестс.гет 😂
источник
15:47пожаловаться#7

A

Andrii in Scrapy
где моя уточка ...
источник
15:48пожаловаться#8

AV

Anatoli Valenda in Scrapy
Всем ку. Есть вопрос. Можно как-то отключить асинхрон в скрапи? Надо сделать из-за особенностей работы сайта
источник
16:04пожаловаться#9

(

(o_O) in Scrapy
CONCURRENT_REQUESTS=1
источник
16:05пожаловаться#10

AV

Anatoli Valenda in Scrapy
Это да, он выполняет по 1 запросу, но они идут в асинхронном порядке
источник
16:06пожаловаться#11

МС

Михаил Синегубов... in Scrapy
оправляй их последовательно
источник
16:06пожаловаться#12

(

(o_O) in Scrapy
Чё за асинхронный порядок? В скрапи очередь, хочешь фифо хочешь лифо.
источник
16:07пожаловаться#13

AV

Anatoli Valenda in Scrapy
Тут вопрос в том, как элементы в очередь попадают
источник
16:13пожаловаться#14

(

(o_O) in Scrapy
Ну так это от тебя зависит
источник
16:14пожаловаться#15

МС

Михаил Синегубов... in Scrapy
как ты отправишь, так и встанут
источник
16:14пожаловаться#16

G

Georgiy in Scrapy
в некоторых случаях это работает... не так, как ожидается некоторыми пользователями
https://github.com/scrapy/scrapy/issues/5156
GitHub
DFO works incorrectly · Issue #5156 · scrapy/scrapy
Description According to FAQ, scrapy should crawl in DFO order especially when lowering the CONCURRENT_REQUESTS to 1. But in fact, it doesn't. Steps to Reproduce There pastes a snippet: fro...
источник
16:16пожаловаться#17

AV

Anatoli Valenda in Scrapy
Хм. Ладно. Курну мануале ещё, может я не дочитал где-то
источник
16:16пожаловаться#18

МС

Михаил Синегубов... in Scrapy
другое дело, что, если тебе надо "вот прям п...ц какой жестко заданный порядок", то есть два варианта:
1. написать свою очередь для скрапи. Кстати, у него же еще есть и приоритеты запросов
2. выкинуть скрапи (я вполне серьезно), иногда проще свое написать

и да, parsel можно использовать отдельно от скрапи
источник
16:16пожаловаться#19

МС

Михаил Синегубов... in Scrapy
бывают ипанутые сайты, у которых навигация каждой конечной страницы должна начинаться с заглавной. Что хорошо, я один раз такое видел.
От там еще те танцы с бубном
источник
16:18пожаловаться#20