Я щас читаю про geometry shader это то направление?
У них не может быть аутпут слишком большой, няз. Если ты из кубика субдивижном хочешь сделать гладкий шарик, то это вряд ли совсем уж хорошо получится.
Самый верный вариант — это рейтрейсинг с кастомной геометрией). Шутка.