Каждый раз когда ты меняешь свойстов uistate swiftUI полностью перерисовывает тебе вьюхи, ты хочешь чтобы в зависимости от стейта у тебя были разыне вьюхи, так засунь if внутрь тулбара и он будет рисовать тебе каждый раз разные кнопки
Сделал так. Если есть правильное знначение, кнопка отображаеться, нету - перемещаеться на позицию ,которая скрыта