Кстати, у меня oauth server + resource server работает, по токену и все такое. Вот сейчас создал класс который экстендит WebSecurityConfigurerAdapter и он закрыт входы в токеновую авторизацию. Сам просит авторизоваться через html форму
Короче, беда была в том, что я забыл перезапустить сервис sshd после того, как изменил его конфиги и добавил в AllowUsers своего пользователя. Спасибо вам за помощь вчера!