У меня так странно. В ассете, который я использую для контроллера, стоит 2 камеры. Одна отрисовывает руки, другая весь остальной мир. Это ок. При этом, у камеры, которая отрисовывает мир - 55 FOV, а которая отрисовывает руки - 40 FOV.
Причём прицеливание в этом контроллере реализовано через изменение FOV камеры рук. То есть, ты приближаешь пушку к лицу при прицеливании, а при этом FOV мира не меняется, и картинка не приближается =)