Size: a a a

2019 August 14

O

On in Scrapy
я только так и не понял откуда
источник

O

On in Scrapy
render.html
источник

O

On in Scrapy
и надо ли его где-то создавать
источник

O

On in Scrapy
типо
источник

К

Кирилл in Scrapy
нет, это один из уже готовых эндпоинтов, который подходит для большинства случаев
источник

К

Кирилл in Scrapy
On
и надо ли его где-то создавать
ничего создавать не нужно
источник

O

On in Scrapy
мэйби сеттинг чето не так
источник

АН

Алексей Нагорский in Scrapy
John Wayne
Я о луа скрипте, что там изменить чтобы сплешом логиниться?
Ну ты же и так логинишься судя по dest в конце, что ты еще хочешь не пойму?
источник

JW

John Wayne in Scrapy
Алексей Нагорский
Ну ты же и так логинишься судя по dest в конце, что ты еще хочешь не пойму?
Главную страницу редита, после логина, все как через обычный браузер же.
источник

АН

Алексей Нагорский in Scrapy
А она открывается не залогиненная все равно?
источник

JW

John Wayne in Scrapy
Алексей Нагорский
А она открывается не залогиненная все равно?
В самом сплеше, я не знаю как это проверить, но в пауке я потом йелдил сплешзапрос на reddit.com и там было не залогинено.
источник

АН

Алексей Нагорский in Scrapy
Не юзал сплеш, а вообще можно xpath какой-нибудь выполнить в нём?
источник

JW

John Wayne in Scrapy
Алексей Нагорский
Не юзал сплеш, а вообще можно xpath какой-нибудь выполнить в нём?
Там по css селекторы
local login = splash:select('#loginUsername')
 login:mouse_click()
Или чистый js можно выполнять
assert(splash:runjs('document.querySelector("body > div > div > div.PageColumn.PageColumn__right > div > form > fieldset:nth-child(10) > button").click()'))
источник

АН

Алексей Нагорский in Scrapy
John Wayne
Там по css селекторы
local login = splash:select('#loginUsername')
 login:mouse_click()
Или чистый js можно выполнять
assert(splash:runjs('document.querySelector("body > div > div > div.PageColumn.PageColumn__right > div > form > fieldset:nth-child(10) > button").click()'))
Вот хз, должно заходить, мб кто юзал сплеш тебе подскажет
источник

JW

John Wayne in Scrapy
Алексей Нагорский
Вот хз, должно заходить, мб кто юзал сплеш тебе подскажет
Ок, а ты можешь, в пауке сделать форм реквест, и так залогиниться на редите, без сплеша, теми кукаки которые дадут?
источник

АН

Алексей Нагорский in Scrapy
Ща проверю, по идее простой реквест на главную реддита надо сделать из коллбэка
источник

s

serhii in Scrapy
используется краулера для сбора данных с амазона.
и амазон отдает страницы иногда без breadcrumbs , без хлебных крошек, без этой пагинации по категориям.
потом ты берешь урл, по которому не отдал амазон полную страницу, скрапи шел этот урл, а хлебные крошки на месте.
что это такое? думаю, может проблема из-за проксей и поэтому он не отдает. или из=за кукисов, включить их?
источник

s

serhii in Scrapy
хотя когда я дебажу, без кукисов, все норм..
источник

s

serhii in Scrapy
есть идеи чего амазон так выделывается и категорию товара не отдает со всей хтмл страницей?
источник

s

serhii in Scrapy
как скормить скрапи парсеру хтмл с файла?
источник