Вот что я сделал ранее:
1. На server2 создал пользователя server2_deploy_user, у которого есть права на запись в нужную мне папаку и открыт доступ ко входу по ssh
2. Вошел под ним и сгенерировал ключи
3. Текст приватного ключа скопировал и добавал в панеле управления Jenkins в настройках Credentials (указал имя пользователя и текст приватного ключа), получил Credentials ID (xxxx-yyyy-zzzz-tttt)
4. В Jenkinsfile после сборки обратился к плагину sshagent, указав ему полученный ранее Credentials ID
После успешной сборки при попытке скопировать артефакт на server2 я получил такую ошибку: Host key verification failed.
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: unexplained error (code 255) at io.c(605) [sender=3.0.9]