Не знаю, как в Винде с правами на ключ приватный. В Линукс он не должен читаться другими группами, иначе ssh его не признает за валидный. Имеет смысл подключиться к гитлабу по ssh и посмотреть на логи клиента
Так же как и в линухе, на файле должно быть права без с ноли юзеру