Проясните, пожалуйста, за метрику - Average Precision Score
Я правильно понимаю, что вот это вот она sklearn.metrics.average_precision_score (с режимом макро)?
На выходе ожидаются вероятности, а не классы?
Чтобы считать метрику нужно сделать one хот для целевых меток.
и того, будут 2 матрицы - целевых one-hot векторов, и предсказаний (с вероятностью каждого класса), так же?
Смущает тот факт, что локально в безлайне (tfidf) я получаю на CV, на hold out тесте - скажем, около 0.8, а
на лидерборде около 0.2.
И такой разлет пока не ясен, возможно, конечно, тест отличается от данных обучения, вот хочу понять правильно ли я метрику считаю.