для поддержки удаленной отладки в windows ядре всегда был дебаг сервер, который поддерживает некоторый набор команд поверх их протокола, которые могли передааться через серийны порт, firewire, usb, или даже ethernet. При отладке внутри виртуальной машины обычно виртуализируют серийный порт направляя через локальный пайп \\.\pipe\com_X. Кажется UDK Debugger tool как раз и реализовывает сценарий виртуализации серийного порта таргета через пайп. Ну то есть, если поднять таргет, то windbg должен приконнектиться (с серийными портами это не всегда надежно, удачи тут), и если попросишь остановиться - то должен заморозить таргет и остановиться в отладчике