Если тебе надо вокруг трёх осей, а не угол между векторами, тогда ты можешь следующее сделать
Ну можешь использовать
atan2(x,y);
atan2(z,y);
atan2(z,x);
Первое это будет угол поворота вокруг оси z, второе это есть угол поворота вокруг оси x, и третий вокруг оси y