Size: a a a

2021 June 22

KL

Ker Log in Scrapy
Hello. Then I write cmd "scrapy shell ..." I get "name 'webdriver' is not defined". Why?
источник

VR

Vadim Ryzhkov in Scrapy
День добрый! Требуется помощь экзорциста.
Такая проблема, регистрирую аккаунт на твиче.

Отправляю запрос через postman - сайт отдает токен после регистрации. Тот же самый запрос через requests - не дает, акк регистрирует, но сам токен не отправляет  :(

Сравнил запросы через ngrok - они идентичные, все заголовки, всё совпадает.

Что это такое может быть? Каким образом они что-то вычисляют?
источник

AR

Andrey Rahmatullin in Scrapy
что такое отдаёт/отправляет?
источник

VR

Vadim Ryzhkov in Scrapy
Ну вернее сказать возвращает в ответе. В ответе json
В котором есть значение access_token, которое магическим образом исчезает :/
Не понимаю что за системы защиты у твича
источник

AR

Andrey Rahmatullin in Scrapy
не факт что защита в общем-то
источник

AR

Andrey Rahmatullin in Scrapy
т.е. в ответе есть остальные поля, а этого нет?
источник

VR

Vadim Ryzhkov in Scrapy
Да
источник

МС

Михаил Синегубов... in Scrapy
есть у кого какие мысли?
источник

МС

Михаил Синегубов... in Scrapy
вопрос снят, туплю от жары, там две таблицы в странице....
источник

i

i in Scrapy
looks like your spider for this particular domain has some selenium (or similar) modules, and they are not installed on your system
источник

i

i in Scrapy
нет, там просто вот lxml с этим lxml.etree и обвязками сложнее, а импортнуть парсель и писать селекторы хошь xpath хошь css - сильно удобней по-факту на долгой дистанции.
источник
2021 June 23

O

OxYgEn in Scrapy
Может кто подсказать? Если есть несколько мест содержащих одинаковую ссылку, scrapy может уйти в бесконечный парсинг?
источник

O

OxYgEn in Scrapy
Или он повторяюшиеся не парсит
источник

A

Andrii in Scrapy
Если фильтр дубликатов не отключил то не уйдет
источник

O

OxYgEn in Scrapy
Спасибо
источник

В

Владислав in Scrapy
Добрый день.
Столкнулся с проблемой. Имеются динамические таблицы и нет никаких запросов чтобы отправлять со скрапи. Такое вообще реально спарсить инструментами скрапи или нужно что-то Селениума (плохой вариант, но все же)?
https://timingevents.com/liveresult/278beb7d875f0fbc1166b049c8b84c56
источник

A

Alex in Scrapy
Вот, точно - один из оптимальных вариантов. Вместо requests для асинхронности можно взять httpx или aiohttp и всё, этого уже достаточно для практически всех нужд парсинга.
источник

AR

Andrey Rahmatullin in Scrapy
где же нет запросов-то?
источник

AR

Andrey Rahmatullin in Scrapy
источник

В

Владислав in Scrapy
Так оно не отдает результаты
источник