видел короче вариант, создаешь страницу в cms robots.txt и пишешь туда то что надо))
Ну мне один заказчик запретил так делать для роботс. У него тематика была палевная, домены блокировали постоянно и нужно было всегда их переклеивать. Сказал что файл robots.txt нужно делать только файлом. Он либо есть, либо нет. А страница в cms может в любой момент сдохнуть или измениться и потом всему сео капец