Телеграмм чат группы scrapy

Size: a a a

Scrapy

856 membersпожаловаться на группу

2021 June 22

Ker Log in Scrapy

Hello. Then I write cmd "scrapy shell ..." I get "name 'webdriver' is not defined". Why?

источник

17:28пожаловаться #1

Vadim Ryzhkov in Scrapy

День добрый! Требуется помощь экзорциста.
Такая проблема, регистрирую аккаунт на твиче.

Отправляю запрос через postman - сайт отдает токен после регистрации. Тот же самый запрос через requests - не дает, акк регистрирует, но сам токен не отправляет :(

Сравнил запросы через ngrok - они идентичные, все заголовки, всё совпадает.

Что это такое может быть? Каким образом они что-то вычисляют?

источник

17:31пожаловаться #2

Andrey Rahmatullin in Scrapy

что такое отдаёт/отправляет?

источник

17:57пожаловаться #3

Vadim Ryzhkov in Scrapy

Ну вернее сказать возвращает в ответе. В ответе json
В котором есть значение access_token, которое магическим образом исчезает :/
Не понимаю что за системы защиты у твича

источник

17:59пожаловаться #4

Andrey Rahmatullin in Scrapy

не факт что защита в общем-то

источник

18:03пожаловаться #5

Andrey Rahmatullin in Scrapy

т.е. в ответе есть остальные поля, а этого нет?

источник

18:03пожаловаться #6

Vadim Ryzhkov in Scrapy

Да

источник

18:04пожаловаться #7

МС

Михаил Синегубов... in Scrapy

есть у кого какие мысли?

источник

18:47пожаловаться #8

МС

Михаил Синегубов... in Scrapy

вопрос снят, туплю от жары, там две таблицы в странице....

источник

18:51пожаловаться #9

i in Scrapy

looks like your spider for this particular domain has some selenium (or similar) modules, and they are not installed on your system

источник

23:16пожаловаться #10

i in Scrapy

нет, там просто вот lxml с этим lxml.etree и обвязками сложнее, а импортнуть парсель и писать селекторы хошь xpath хошь css - сильно удобней по-факту на долгой дистанции.

источник

23:20пожаловаться #11

2021 June 23

OxYgEn in Scrapy

Может кто подсказать? Если есть несколько мест содержащих одинаковую ссылку, scrapy может уйти в бесконечный парсинг?

источник

00:28пожаловаться #12

OxYgEn in Scrapy

Или он повторяюшиеся не парсит

источник

00:28пожаловаться #13

Andrii in Scrapy

Если фильтр дубликатов не отключил то не уйдет

источник

00:33пожаловаться #14

OxYgEn in Scrapy

Спасибо

источник

00:36пожаловаться #15

Владислав in Scrapy

Добрый день.
Столкнулся с проблемой. Имеются динамические таблицы и нет никаких запросов чтобы отправлять со скрапи. Такое вообще реально спарсить инструментами скрапи или нужно что-то Селениума (плохой вариант, но все же)?
https://timingevents.com/liveresult/278beb7d875f0fbc1166b049c8b84c56

Timing Events - Современная система электронного хронометража

LIVE » 22 км Вікові категорії

источник

12:37пожаловаться #16

Alex in Scrapy

Вот, точно - один из оптимальных вариантов. Вместо requests для асинхронности можно взять httpx или aiohttp и всё, этого уже достаточно для практически всех нужд парсинга.

источник

12:37пожаловаться #17

Andrey Rahmatullin in Scrapy

где же нет запросов-то?

источник

12:38пожаловаться #18

Andrey Rahmatullin in Scrapy

https://timingevents.com/liveresult/278beb7d875f0fbc1166b049c8b84c56/json , натурально

источник

12:38пожаловаться #19

Владислав in Scrapy

Так оно не отдает результаты

источник

12:38пожаловаться #20