d
Как можно закрыть парсеры ссылок?
Size: a a a
2021 September 05
VO
Не правильно выразился, от ботов ахрефса/серпстата
d
Они слушаются robots.txt? Или по IP?
VO
Слушались, последнее время я обленился и не проверял
d
Имхо, сомневаюсь 😊 имхо, их вид деятельности не позволяет слушаться. Иначе их БД не будет пополняться.
VO
Роботсе и хтаксессе известных ботов закрывали
d
Ip они постоянно новые добавляют. Как понимаю с дешёвых вдс-ок.
D
Я по ip всех закрываю, хорошо работает
D
За исключением парсинга с мобильных проксей
D
Но и этих ловлю
VO
Как часто новые ip появляются?
d
Не знаю, но как не посмотрю с каких то левых сеток лезут. Можно конечно тратить кучу времени на отлов.
D
Я подсетями блокирую. Подсети редко новые
d
Я тут не понял. Имеется ввиду какой домен-донор? Новостник или уже сайтец прослойку?
NM
Это публичные компании, дорожат своей репутацией. У них там ipo, акции. На западе обходить правила стоит дорого. Где-то был отчет, что в ахрефре много миллионов сайтов не хватает по этой причине
VO
Домен который ты забрал и на который ссылается новостник, я не использовал проклы.
Это как сайты от ркн переклеивали или дропы на казино отправляющие, на сайт можно попасть только с поиска, а тут и с поиска закрываешь. И получается, что кроме поисковиков никто туда не попадает
Это как сайты от ркн переклеивали или дропы на казино отправляющие, на сайт можно попасть только с поиска, а тут и с поиска закрываешь. И получается, что кроме поисковиков никто туда не попадает
d
А этот не будет расценно поисковиками, как клоакинг?
NM
Скорее всего будет
VO
Так поисковик же знает что там 301
VO
Там нет контента