Мы используем похожую штуку для интеграционных тестов. Описываем лексемы — потом ребята не из разработки описывают разные хитрые сценарии. Некоторые чуваки написали скрипты для генерации spec на основе продовский данных (например, некоторой проблемной ситуации для будущего регресса).
Да, есть нюансы с распараллеливанием и скоростью прогона, но и плюсы также имеются.