Ты же можешь хранить только одно и брать инверс если тебе нужно другое.
Я в общем-то так и планирую сделать. У меня сейчас есть единый интерфейс "Space3", который дает функции для трансформации пространства, хранит под капотом матрицу этих трансформаций, стек трансформаций, и выдает либо матрицу прямого преобразования, либо обратного. Я думаю просто разделить все это на более специализированные сущности.