AA
Для начала стоит принять следующую мысль: а зачем вообще доступ по SSH, что такого там можно делать. Особенно, когда хостов больше 10. Там где работал были тысячи серверов, делать что-то руками - крайне неэффективная задача. Куда выше КПД, когда у вас инфраструктура как к код.
А теперь к одному из возможных решений:
Поднимаете дженкинс, отдаете доверенному лицу/отделу/т.п. админские права на него. Вам нарезают права только на создание задач. Вы скидываете свои ключи. Далее админ дженкинса проходится и прописывает везде ваш ключи (ансиблом на раз).
В дженкинсе определяете креды (судо, pam и т.п.). Теперь когда вам нужно что-то сделать, вы, к примеру, создаете ansible playbook и оформляете задачу на дженкинсе, дженкинс видит таску, ваши права и выполняет ваш плейбук.
Что из плюсов: ни у кого нет рутового доступа, кроме доверенного лица (у нас был отдел ИБ). Всегда можно посмотреть какие действия были выполнены тем или иным лицом на сервере в логах дженкинса. Если админов много, то вы всегда синхронизированы. Безопасники также могут посмотреть логи на предмет чего-либо."
Так же такое решение не покрывает полный жизненный цикл секретов. Сгенерить, разложить ок, а вот когда нужно поменять или отозвать начинаюся проблемы.