про выбор метрик мне нравится следующий подход:
business metric - например, заработанное бабло
proxy business metric - например, CTR на рекомендованных товарах
proxy ds metric - например, ROC AUC как способность рекомендательной системы ранжировать релевантность товаров
ds metric - например, binary cross-entropy как loss функция
Соответственно, на каждом уровне метрик думаешь/гуглишь, что лучше всего приближает целевую метрику уровнем ближе к бизнесовой (чаще всего - бабло)