Ну у тебя будет минимальный набор инструкций проца, производительность вроде не должна страдать (надо читать матчасть). Если же тебе нужны математические вычисления а значит набор инструкций, то как предлагал J разбить на агрегаты и выделить туда нужные ВМ, не думаю что их так много.
Не, наличие, например, avx довольно сильно влиять будет, мне кажется.