Телеграмм чат группы scrapy

Вопрос в обходе проверки на бездушного робота при первом посещении. Селениумом не прокатило, включая замену UA. Хотел узнать особенность обхода проверки.

источник

15:45пожаловаться #12

Alex in Scrapy

Простыми запросами любого типа с подстановкой всех деталей отправляемых данных, заголовков, кукисов сервер просто отдает статус 503. Т.е. должен отработать JS.

источник

15:47пожаловаться #13

Andrey Rahmatullin in Scrapy

мне без защиты отдало

источник

15:48пожаловаться #14

Alex in Scrapy

Andrey Rahmatullin

мне без защиты отдало

Открыв в браузере?

источник

15:49пожаловаться #15

Andrey Rahmatullin in Scrapy

зачем в браузере-то

источник

15:49пожаловаться #16

Andrey Rahmatullin in Scrapy

LWP и скрапи

источник

15:49пожаловаться #17

Alex in Scrapy

Andrey Rahmatullin

LWP и скрапи

Хм.. а у меня постоянно такая прелесть. В селениуме эта страница циклично перезагружается каждые 3-5 сек. В обычном браузере отрабатывает дальше нормально. Но в процессе работы с сайтом и при переходе по ссылкам время от времени все равно выскакивает

источник

15:54пожаловаться #18

Andrey Rahmatullin in Scrapy

ну понятно дело что если ты работаешь с сайтом как робот, то оно будет тебе капчу выдавать

источник

15:54пожаловаться #19

Andrey Rahmatullin in Scrapy

просто ты написал "при первом посещении"

источник

15:54пожаловаться #20