ну т.е. на серваке есть виртуальная видеокарта-затычка, вот к нему и подключаете свой x11vnc сервер. А можно поднять виртуальный фреймбуффер - Xvfb и там накрутить все, что угодно. Разрешение, глубину цвета и проч. и туда же повешать x11vnc сервер...