Size: a a a

2020 April 08

Д

Данил in Scrapy
Окей
источник

Д

Данил in Scrapy
Спасибо
источник

iz

izzz zzi in Scrapy
Данил
Спасибо
какой нить докер за 30 мин нагугли)
этого хватит что бы развернуть
источник

Д

Данил in Scrapy
Ок, допустим я изучу как он устанавливается...
источник

Д

Данил in Scrapy
Я смогу установить splash руками?)
источник

К

Кирилл in Scrapy
Уже обсуждали пару недель назад, что легче на хостинге установить
источник

iz

izzz zzi in Scrapy
Данил
Я смогу установить splash руками?)
открываешь докер файл - читаешь)
источник

Д

Данил in Scrapy
Понятно)
источник

A

Andrii in Scrapy
Всем привет. Кто может подсказать как прикрутить куки к скрапи?) Сохранил с вебдрайвера куки в файл cookies.py , импортировал, а как теперь вложить в request ?
источник

A

Andrii in Scrapy
источник

К

Кирилл in Scrapy
источник

AS

Alexander Serebrov in Scrapy
from scrapy import Request
from cookies import cookies

...
request = Request(url, cookies=cookies, callback=callback)

так?
источник

AS

Alexander Serebrov in Scrapy
а нельзя как-то проще куки из селениума в паука передать?
источник

AS

Alexander Serebrov in Scrapy
источник

AS

Alexander Serebrov in Scrapy
никогда с селениумом не работал 😅
источник

К

Кирилл in Scrapy
Можно, https://github.com/clemfromspace/scrapy-selenium тут можно посмотреть
источник

R

Roma in Scrapy
Alexander Serebrov
никогда с селениумом не работал 😅
Это еще то веселье скажу я вам)))
источник

R

Roma in Scrapy
Если просто нужны куки и пробросить их в request - еще куда не шло....Если что то посмложнее - типа капча + разные iframe + какие то валидации на стороне сервера - вообще не советую так делать - работать будет с вероятностью в 10%
источник

A

Andrii in Scrapy
Roma
Если просто нужны куки и пробросить их в request - еще куда не шло....Если что то посмложнее - типа капча + разные iframe + какие то валидации на стороне сервера - вообще не советую так делать - работать будет с вероятностью в 10%
Все что нужно, ето пробросить что я прошел логин в скрапи, может есть проще вариант
источник

R

Roma in Scrapy
надо пробовать - но я сомневаюсь что это будет работать в том виде что ты хочешь....Намучался я с таким подходом - но у меня была капча + разные iframe + работало только на драйвере google chrome - что было указано в FAQ на самом сервисе.....Причем если ошибка - сервис тупо отдавал - нет данных и не понятно - это ошибка в коде, в запросе или защита самого сервера
источник