Я тоже гуглил этот вопрос где-то год назад. Универсального хорошего решения нету.
Всякие фейсбуки и нетфликсы используют схему с CA и подписью ключей.
https://code.fb.com/production-engineering/scalable-and-secure-access-with-ssh/Из минусов — это не решает проблему хранения и доставки этих ключей и не работает со всякими PuTTY.
Можно прикрутить домен и хранить ключик где-то в поле AD. Тут основной минус в том, что эта интеграция будет единственной точкой отказа и ты не сможешь попасть на тачку во время проблем с сетью или доменом. Прикрутить можно тоже несколькими способами: через sssd - но это требует что-бы тачка была, в домене либо через параметр AuthorizedKeysCommand - можно написать скрипт который будет дёргать домен но тогда нужно будет хранить пароль от служебной учётки.