В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

663 membersпожаловаться на группу
2020 October 25

G

Georgiy in Scrapy
Oleg Shleiko
Добрый день. Подскажите плз. а можно ли в скрапи менять настройки во время выполнения парсинга?
компоненты scrapy читают все (за некоторыми исключениями) settings только один раз при старте приложения, поэтому менять какой либо settings после spider opened - нету смысла.

А вот изменять во время парсинга переменные соответствующих компонентов, которые используют значения из settings - вполне реально:
https://github.com/scrapy/scrapy/issues/4196
источник
19:36пожаловаться#1

G

Georgiy in Scrapy
Oleg Shleiko
DOWNLOADER_CLIENT_TLS_CIPHERS
обратится к списку который сформирован из DOWNLOADER_CLIENT_TLS_CIPHERS setting из parse метода внутри паука:
self.crawler.engine.downloader.handlers._handlers['https']._contextFactory.tls_ciphers._ciphers
источник
19:37пожаловаться#2

OS

Oleg Shleiko in Scrapy
Georgiy
обратится к списку который сформирован из DOWNLOADER_CLIENT_TLS_CIPHERS setting из parse метода внутри паука:
self.crawler.engine.downloader.handlers._handlers['https']._contextFactory.tls_ciphers._ciphers
Спасибо, затестим
источник
19:49пожаловаться#3

🎱

🎱 in Scrapy
https://flir.app.box.com/s/rtuet4o3u6jdeu0i4ebbr4tuumtd3bf4
кто знает, как я могу скачать этот пдф файл?
желательно его контент сразу в переменную. типа так file = response.content

в Network отдается сгенерированный урл сo временным токеном, может при каждом гет запросе можно  как-то извлекать сгенерированный урл с network вкладки?
источник
20:40пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
response.body это и есть контент
источник
20:40пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
и нет, в скрапи нет никакой network вкладки
источник
20:40пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
если сможешь токен достать из страницы - вперёд
источник
20:41пожаловаться#7

🎱

🎱 in Scrapy
Andrey Rahmatullin
если сможешь токен достать из страницы - вперёд
в этом и вопрос, существуют ли способы ?
источник
20:41пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
в общем случае неизвестно
источник
20:42пожаловаться#9

S

SoHard 🎄 in Scrapy
Подскажите, пожалуйста, как получить тэг который идёт после тэга <dt>Страна производства:</dt>
источник
21:56пожаловаться#10

A

Andrii in Scrapy
//dt[text()="страна..."]/following-sibling::dd[1]
источник
21:58пожаловаться#11

А

Андрей in Scrapy
Так же как и тег dt, тег dd не вложенный
источник
21:59пожаловаться#12

A

Andrii in Scrapy
Андрей
Так же как и тег dt, тег dd не вложенный
?
источник
21:59пожаловаться#13

S

SoHard 🎄 in Scrapy
Andrii
//dt[text()="страна..."]/following-sibling::dd[1]
//dt[text()="Страна производства:"]/following-sibling::dd[1]
источник
22:00пожаловаться#14

S

SoHard 🎄 in Scrapy
да спасибо уже нагуглил)
источник
22:00пожаловаться#15
2020 October 26

МС

Михаил Синегубов... in Scrapy
ахах, люди, у меня клин в мозгах.
первый запрос проходит норм, остальные отдают
<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>
источник
12:36пожаловаться#16

МС

Михаил Синегубов... in Scrapy
кто сталкивался?
если что - пикабушку кошмарю :)
источник
12:37пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
ну так бан :)
источник
12:37пожаловаться#18

МС

Михаил Синегубов... in Scrapy
эм, выборочный? в смысле, по определенным страницам?
тогда - не пойму на чем основан
1. браузер - Ок
2. постман, с почищенными куками - Ок
источник
12:40пожаловаться#19

МС

Михаил Синегубов... in Scrapy
не IP это точно.
источник
12:40пожаловаться#20