друзья, подскажите, как правильнее сделать.
Есть на сайте раздел новости. Эти новости распределяются по тегам. При нажатии на тег, создается страница, где все новости с выбранным тегом.
Стоит ли пытаться закрывать их индексацию через robots.txt или нет?
с одной стороны дубли контента и тд. С другой стороны, страница относительно кода и тд будет уникальна и по идее на нее можно попасть из поиска. Вот не знаю, как правильнее