Телеграмм чат группы scrapy

каким образом яндекс-маркет детектит что я его парсю? юзаю прокси каждый запрос с нового/кручу юзер-агенты/ пробовал включать/отключать куки, один фиг 2 запроса и редирект на капчу

источник

18:18пожаловаться #5

К

Кирилл in Scrapy

Конкретно за маркет не отвечу, но почему бы тебе не показывать капчу просто так? Много сайтов которые показывают капчу всем подряд. Тот же гугл поиск, если гугл акк не залогинен может к каждому запросу давать капчу

S

Конкретно за маркет не отвечу, но почему бы тебе не показывать капчу просто так? Много сайтов которые показывают капчу всем подряд. Тот же гугл поиск, если гугл акк не залогинен может к каждому запросу давать капчу

тут проблема в чём, я раньше юзал прокси-менеджер люминати, так вот если через него слать запросы то пожно за 1-10 повторных запросов (с новым айпи) достучаться к нужной страницы,
а когда тыкаю без него напрямую 2 запроса ОК и сразу глухой блок, всё летит на капчу

источник

18:24пожаловаться #7

AR

Andrey Rahmatullin in Scrapy

фингерпринтинг

источник

18:25пожаловаться #8

S

SoHard 🎄 in Scrapy

уже смотрел что менеджер шлёт вроде ничего нового, чего я не шлю. Но через него работает, а без него нет

источник

18:25пожаловаться #9

S

S in Scrapy

Всем добрый вечер !!! Такой вопрос : Чем максимально просто и быстро парсить ссылки которые подгружаются из JavaScript a ? Selenium или BS ?

источник

18:41пожаловаться #10

S

SoHard 🎄 in Scrapy

SoHard 🎄

уже смотрел что менеджер шлёт вроде ничего нового, чего я не шлю. Но через него работает, а без него нет

есть подозрение что что-то с ssl потому что если в прокси-менеджере не включить SSL analyzing, то тоже редиректит

источник

18:42пожаловаться #11

S

SoHard 🎄 in Scrapy

S

Всем добрый вечер !!! Такой вопрос : Чем максимально просто и быстро парсить ссылки которые подгружаются из JavaScript a ? Selenium или BS ?

делать тоже самое что и js

источник

18:42пожаловаться #12

S

SoHard 🎄 in Scrapy

самый быстрый вариант

источник

18:43пожаловаться #13

S

S in Scrapy

максимально просто и быстро и в большом количестве , если есть еще какой нибудь вариант посоветуйте пожалуйста

источник

18:43пожаловаться #14

S

SoHard 🎄 in Scrapy

S

максимально просто и быстро и в большом количестве , если есть еще какой нибудь вариант посоветуйте пожалуйста

я же говорю, смотри что делает скрипт и сделай то что он, быстрее не булет

источник

18:44пожаловаться #15

S

S in Scrapy

хорошо , спасибо большое за совет

источник

18:45пожаловаться #16

AR

Andrey Rahmatullin in Scrapy

SoHard 🎄

есть подозрение что что-то с ssl потому что если в прокси-менеджере не включить SSL analyzing, то тоже редиректит

ну поищи ты в истории чата как люди с ссл страдали

источник

18:52пожаловаться #17

S

SoHard 🎄 in Scrapy

Andrey Rahmatullin

ну поищи ты в истории чата как люди с ссл страдали

часть я нашёл) у меня тоже не работало

источник

18:52пожаловаться #18

S

SoHard 🎄 in Scrapy

сейчас включил DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING, и вижу что паук SSL connection to market.yandex.ru, и всё один раз. Я не шарю, но кажется что это по этому он и палит

источник

18:54пожаловаться #19

СТ

Семён Трояновский... in Scrapy

SoHard 🎄

сейчас включил DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING, и вижу что паук SSL connection to market.yandex.ru, и всё один раз. Я не шарю, но кажется что это по этому он и палит

я бы наверное попробовал сделать дамп и посмотреть детально что происходит когда работаешь через прокси менеджер и когда без

источник

19:10пожаловаться #20