В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

449 membersпожаловаться на группу
2020 April 20

M

Max in Scrapy
Всем привет, у меня есть вопрос: наткнулся на сайте с якорной ссылкой, прогружаю страницу через selenium. Записываю ее как response объект. Как мне заного вызвать функцию parse  и передать ей response полученный от seleniuma?
источник
18:32пожаловаться#1

К

Кирилл in Scrapy
Max
Всем привет, у меня есть вопрос: наткнулся на сайте с якорной ссылкой, прогружаю страницу через selenium. Записываю ее как response объект. Как мне заного вызвать функцию parse  и передать ей response полученный от seleniuma?
https://github.com/clemfromspace/scrapy-selenium
GitHub
clemfromspace/scrapy-selenium
Scrapy middleware to handle javascript pages using selenium - clemfromspace/scrapy-selenium
источник
18:33пожаловаться#2

M

Max in Scrapy
эта мидлвара не сработает, потому что якорная ссылка не меяет сраницу а запускает js скрипт, который подгружает контент. Мне нужно грубо говоря узнат делал ли кто то на подобии:
источник
18:39пожаловаться#3

К

Кирилл in Scrapy
Ну сделай рекурсивно
источник
18:40пожаловаться#4

M

Max in Scrapy
т.е. я не могу использовать scrapy.follow ли scrapy.Request, потому что url не меняется, и улетит в фильтр.
А просто yield func - вылезает ошибка, а на return - не собирает страницу дальше
источник
18:41пожаловаться#5

К

Кирилл in Scrapy
dont_filter=True
источник
18:42пожаловаться#6

M

Max in Scrapy
Кирилл
dont_filter=True
это все не то)
источник
18:43пожаловаться#7

M

Max in Scrapy
Ладно, если ни у кого нет идей. Спасибо и на этом.
источник
18:44пожаловаться#8

К

Кирилл in Scrapy
Задавай правильные вопросы, и тебе помогут
источник
18:47пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
Max
Всем привет, у меня есть вопрос: наткнулся на сайте с якорной ссылкой, прогружаю страницу через selenium. Записываю ее как response объект. Как мне заного вызвать функцию parse  и передать ей response полученный от seleniuma?
как на скрине
источник
18:51пожаловаться#10

M

Max in Scrapy
Andrey Rahmatullin
как на скрине
на моем?
источник
18:51пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
да
источник
18:51пожаловаться#12

M

Max in Scrapy
ругается что паук не может yield'ить функцию
источник
18:52пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
не верю
источник
18:52пожаловаться#14

M

Max in Scrapy
image_2020-04-20_18-56-08.png
(5.68 Кб)
источник
18:56пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
а, ну yield from надо, да
источник
18:56пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
или return
источник
18:56пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
только надо признак останова какой-то, а то будет рекурсия
источник
18:56пожаловаться#18

M

Max in Scrapy
Andrey Rahmatullin
только надо признак останова какой-то, а то будет рекурсия
там проверка на наличие кнопки
источник
18:57пожаловаться#19

M

Max in Scrapy
return работает, но странно(
источник
18:57пожаловаться#20