AV
шикарно. Вебморда телеги не показала сообщение
Size: a a a
2021 May 31
AV
ща попробую
D
Ребят, такой вопрос - не совсем по парсингу, но близкий. В общем решил запилить себе VPN на VPS Hetzner (ради статичного IP) + думал поднимать временные инстансы Hetzner для парсинга (поднял-спарсил-выключил). В общем установил Wireguard на сервер, настроил клиента на компе, начал пользоваться и столкнулся с кучей блокировок разных даже при обычном веб-серфинге (даже не парсил еще ничего!).
D
На абсолютно разных сайтах, которыми постоянно пользуюсь, начали выскакивать капчи Cloudfare, Hcaptca, Google Captcha. На том же Я.Маркете при обычном серфинге выскакивает капча через каждые 3-5 страниц - ну просто ппц.
D
Пробовал поднимать новые инстансы ради получения нового IP, пробовал менять локации (их там 2 - Германия и Финляндия) - все одно и то-же. Первый запрос через браузер с нового инстанса на какой-нибудь Я.Маркет - сразу капча. Для интереса пробовал развернуть VPN на DigitalOcean - с блокировками не столкнулся.
D
Собственно вопрос - как это работает? Я понимаю, что возможно кто-то поднимал инстанс для парсинга какого-то конкретного сайта - и соответствующий IP был бы заблокирован... Но чтобы сразу все сайты блочили конкретный IP!?
D
Или если какой-то IP использовался для парсинга и наткнулся на защиту типа Cloudfare (или каку-то другую), то после N-обращений он добавляется в 'некую базу' того же Cloudfare и капча начинает вываливаться на всех сайтах, где стоит защита Cloudfare?
D
Или даже вся сеть Hetzner ***.clients.your-server.de находится под фильтрами?
AR
да просто детектится датацентровый айпи
D
Ну это я понимаю, но ведь DigitalOcean не блочится?
AR
ну его в список не добавили может
AR
или подсетка новая, ещё неизвестная
D
Т.е. блочат именно на уровне сети "clients.your-server.de"?
D
Или конкретные IP адреса?
AR
при чём тут обратка вообще
AR
подсетки, думаю
A
Ну кто будет юзать для серфинга дц?)
AR
я, ибо ркн
AR
но это такое
A
:)))