После того как пользователь подтвердит авторизацию и доступ на внешнем сервисе, на сервер в callback_url прилетит код. Его не обязательно отдавать клиенту. Можно прямо с сервера сделать запрос на сервер авторизации и получить access_token без клиента. Потом с этим токеном запросить какой-нибудь идентификатор пользователя на внешнем сервисе (id, email) по которому уже можно аторизовать или зарегистрировать пользователя у себя.
тут пользователь ввел свой логин и пароль, на мой сервер пришел код и я получил инфу про пользователя, а как потом вернуть access_token клиенту, он же на пряму не взаимодействовал с моим сервером