AR
и куда его потом?
Size: a a a
2021 March 31
МС
через js на страницу занести
A
ну или по времени
вот так более похоже
AR
ну я ещё раз скажу, если сразу неясно было, что раз скрапи на первый запрос получает страницу, значит детектится не скрапи, а поведение
AR
и надо с этим работать, а не пытаться капчу решить
A
тоже так считаю
Нет. При простом ручном посещении и при использовании поиском по сайту производит проверку. Похоже, это не зависит от того кто или что делает запросы, эта фича захадкожена
AR
потому что айпи тот же
AR
а, правда срабатывает через какое-то время
AR
ну значит прокси и куки чистить
A
потому что айпи тот же
Ну, я, как и любой другой, перед парсингом изучает сайт в ручном режиме. И в ручном режиме без подозрительной активности эта особенность присутствовала с самого начала.
AR
тогда уточни что ты хочешь узнать, как селениумом обойти проверку?
МС
Я вообще уже давно заметил особенность, что поголовно все сайты на тематику автозапчастей уж очень сильно берегут свой контент.
они не берегут сильно контент. Они просто затрахались получать нагрузку, из за того, что все кому не лень их кошмарят
и вообще, там точно силениум нужен? а то иногда бывает "детская" защита, которой, на самом деле нет
и вообще, там точно силениум нужен? а то иногда бывает "детская" защита, которой, на самом деле нет
AR
судя по cf_ кукам клаудфларь
AR
но я б попробовал проксями и медленно
A
тогда уточни что ты хочешь узнать, как селениумом обойти проверку?
Я бы с радостью вообще не использовал селениум, т.к. терпеть его не могу. Но тут вроде должен отработать JS, чтобы двигаться дальше. Хотя, смотрю, дальше таблички тоже генерятся js-ом, а явного АПИ не видно, все через токены/пароли и др. Селениум здесь все-таки нужен будет дальше, но чтобы пройти дальше, надо как-то обойти ту защиту. Не могу просто точно отловить, что именно он проверяет...
AR
вручную обходить клаудфларь так себе идея
AR
а селениум ловится по какому-то там джс атрибуту
A
они не берегут сильно контент. Они просто затрахались получать нагрузку, из за того, что все кому не лень их кошмарят
и вообще, там точно силениум нужен? а то иногда бывает "детская" защита, которой, на самом деле нет
и вообще, там точно силениум нужен? а то иногда бывает "детская" защита, которой, на самом деле нет
Сделали бы открытое АПИ, как некоторые и всем жить стало бы проще
AR
хаха :)