на этих урлах закрой в мета-роботс именно в коде странички и будет щасце)   роботс тхт = рекомендация, а не правило, и гоше часто ПВ  на него (

в роботс по урлу сами заходим. ничего не меняли давно. а вот гугл почему-то начал с сегодня видеть какую-то блокировку, при том, что в роботс сам не находит

так мы не хотим их закрывать. они должны быть открыты. и были открыты. а сейчас гугл видит какую-то блокировку, при том, что пишет, что роботс недоступен и сайт не может быть просканирован

глюк что ли какой-то

ваш хостинг блочит гуглбота, при чем тут глюк?

а как определить, что он блочит?

смотреть логи сервера

прогер говорит, что ходит гугл бот

сейчас вот стал доступен роботс в гугл серч консоли (не выдает ошибку, что он недоступен). но когда отправляем урл на индексацию, то пишет ошибку сканирования

Господа, тут раньше была ссылка на ликбез этого чата, не могу найти в шапке

Бывает, что нужно оперативно удалить из индекса Google несколько сотен/тысяч страниц. Например, когда на сайте найдены залежи Thin Content и нужно оперативно их "пристрелить".
Некоторые будут удалять страницы по одной в "новой" консоли, а кто похитрей воспользуется обновленной (третьего дня) удалялкой https://github.com/noitcudni/google-search-console-bulk-url-removal  - расширением Хрома.
Процесс сборки/установки там тщательно расписан, кто не справится (интересно почему?), там же ссылка на готовую сборку в магазине Хрома (но за денюжку).
Предупреждаю, процесс удаления крайне долог и задумчив - потому лучше запускать на отдельном компе.

#drmax #UrlRemoval #Google #деиндексация

а с таким кто-то сталкивался?
это из инструмента отправки роботса в гугл серч консоли.
роботс доступен, отдаёт 200. но гугл периодически не может получить к нему доступ. и из-за этого не может проиндексировать страницы и блокирует индексацию страниц

Хостинг провайдер оставляет желаьт лучшего видимо

сейчас сайт работает. без всяких перебоев. зайти гуглботу на страницу не проблема, но не хочет

https://robotstxt.ru/
Естьтакой сайт....может тут найдете что-то

Привет всем, у кого то были проблемы что вебмастера ругаются что сайт закрыт в роботс тхт? хотя на деле все открыто и роботс пустой

похоже у меня сейчас такая же проблема

читай выше

тоже наблюдаю такую траблу, вчера добавил в индекс. Но ругается, что закрыто для индексации

ну, уже у 3 такая проблема. стала чуть спокойнее на душе)
но вопрос остаётся открытым