да, roc-auc был бы лучше, к сожалению технически не сложилось. accuracy был бы хуже (выборка мала). в результате получается вероятностная классификация с mae, звучит действительно странно. но кажется top с ней будет по факту практически тот же, что был бы с accuracy?
Илья, как мне кажется, при использовании mae нельзя говорить о вероятностях.