Да, но они говорили просто о том что это не обязательно использовать

Если максимально упростить вопрос:
1) Удаляем из кода <meta name="fragment" content="!"> => робот перестает запрашивать url вида ***escaped_fragment*** ?

если уберать мета тег fragment то должен перестать ломиться

Ок, попробуем сделать.

Точно выйдет. так как (вырезка из справки): <meta name="fragment" content="!">
This indicates to the crawler that it should crawl the ugly version of this URL. As per the above agreement, the crawler will temporarily map the pretty URL to the corresponding ugly URL. In other words, if you place <meta name="fragment" content="!"> into the page www.example.com, the crawler will temporarily map this URL to www.example.com?_escaped_fragment_= and will request this from your server.

соответственно если это убрать, то робот не будет обращаться к ugly url

Ок, сделаем и посмотрим, что там выйдет.

Сталкивался ли кто то с проблемой, на сайте около 3 млн страниц,  в яндексе проиндексировано 90% в гугле только 30%, для остальных 70 пишет - Обнаружена, не проиндексирована. Проблема  в малой полезности страниц, потому что на ней практически уникального контента. Вопрос.
Каким способами можно это исправить, если контента больше никак не добавить (уже все варианты рассмотрели) может попробоавть сделать перелинковку получше? Или какой то динамический сквозняк с внешего сайта со ссылками на эти все страницы поставить? (с жирного сайта с 200 тысяч страниц распределить на эти, плохого качества)

сталкивались и не раз

закрывайте такие страницы

если там нет нормального контента - не надо пытаться их засунуть в индекс

дело в том что это страница отеля, закрывать ее никак нельзя, есдинсвтенное можно только от индекса закрыть, но кажется мне что это проблему не решит. И в целом хотелось бы чтобы хотябы часть из них все таки зашла, потому что частотность там явно есть

тут, к сожалению, нет простого решения
посмотрите как в целом весь тот кластер залинкован - если там эти страницы есть только в сайтмапе - это одно, если есть хоть какая перелинковка (т.е. можно дойти до них от главной страницы) - немного другое

гугл очень и очень не любит большую вложенность по кликам - click distance от главной страницы

то, что там нет уникального контента - это не так страшно, я всю жизнь работаю с аггрегаторами - у нас его в принципе нет

и еще другой момент - были ли эти страницы в индексе раньше или вы их только сгенерили и пытаетесь засунуть

по поводу были в индексе - сложно сказать, но появились они давно, в течении 2-3 лет, не одномоментно

тогда самое первое что сделайте - скраулите сайт и посмотрите сколько в среднем идет внутренних ссыок на страницы

если меньше 10 - добавьте

если больше - то смотрите уровень вложенности от главной