У вью есть якорная позиция, определяемая layoutparams. Сдвиги, повороты и анимация не меняют эту якорную позицию. Сделано это по причине того, что инвалидейт работает намного быстрее чем смена layoutparams с последующей перестройкой дерева view и перерисовкой. В данном случае ТОЛЬКО перерисовка работает. А оверлей дебага тебе показывает якорную позицию