A
да и группировка там не нужна в целом
select m.id, u.name, case when u.id = m.to_id then "TO" else "FROM" end as "direction", m.text from messages m join users u on u.id = m.to_id or u.id = m.from_id where m.to_id = ? or m.from_id = ? order by id desc