Вот это я что-то не осилил, куча ссылок, но все под линукс.
Сгенерировал ключи, один в гитлаб засунул.
Как воспользоваться ключом в задаче gitlab-runner, который ещё и под windows работает?
ммм... точно так же, как и под линуксом. добавить ремоут с ssh-путем. положить ключ в профиль пользователя. если ssh-ключ с паролем, поднять ssh-агента. если без пароля, то и так работать будет