Vadim
Блин. В общем, мне нужно такое условия выполнить:
Убедитесь, что роботу Googlebot не запрещен доступ к страницам с вакансиями при помощи файла robots.txt или метатега robots.
Но я не хочу, чтобы эти страницы в индексе были.
что robots.txt что meta robots для гуглбота являются рекомендациями, но закрытие в robots.txt это запрет на сканирование, а не на индексацию, meta robots это запрет на индексацию, а не на сканирование
по факту на данный момент нет инструмента который на 100% закроет тебе страницу от индексирования, если читать их же справку, то практически везде существует формулировка - не о запрете индекса, а об отказе показа информации в сервисах гугл.