ну а ключи храни в зашифрованном через AES виде. Шифруй рандомно сгенеренным ключем, который потом зашифруй снова через AES паролем пользователя (переведенным в 128/192/256 бит через pbkdf2). Будешь спрашивать пароль у чела, доставать зашифрованный ключ откуда хочешь для этого пользователя, расшифровывать этот ключ паролем пользователя и этим ключем расшифровывать приватный ключ RSA