А как аллокатор знает, кто имеет ссылку на этот объект?
если ты про убитый объект, то от него уже отказались и он не нужен, как и ссылка на него, если же про тот объект который будет перемещен в вакантную дырку созданную после убитого объекта, то да, нужна какая-то ссылка которая будет для других кусков кода неизменчива, но эта сслыка просто указывает на реальный блок памяти и таким образом направляет в него, как виртуальная память процесса, аллокатор переместит объект и обновит эту парную ссылку на новое место