Т-34 85
в таких задачах не грех залезть в unsafe, в том числе и в расте. Например, когда дёргают unchecked
1) Оптимизируют по мере надобности (берём в расчёт реальные приложения, а не std);
2) Функции наподобие get_unchecked можно тоже закрыть в safe интерфейс в конкретно твоей проблематике, а снаружи ограничиться safe кодом. В твоём решении так сделать не получится из-за умных указателей (которые производительность сжирают иногда).