OT
Добрый день! Посоветуйте, какие метрики лучше использоваться для ранжирования? Причем хочется чтобы весь список был отранжирован хорошо.
Size: a a a
2019 March 04
AS
Добрый день! Посоветуйте, какие метрики лучше использоваться для ранжирования? Причем хочется чтобы весь список был отранжирован хорошо.
AS
туториал по ранжированию
AD
Vad C
Можно ли что то вызвать чтобы получить кол-во итераций с макс. скором для всех фолдов?
Кросс-валидация возвращает матрицу, где в том числе есть средняя ошибка на каждой итерации. Нужно пройтись по этому столбцу и выбрать лучшее значение.
AS
Добрый день! Посоветуйте, какие метрики лучше использоваться для ранжирования? Причем хочется чтобы весь список был отранжирован хорошо.
в основном используют все NDCG
AS
Pfound еще можно
OT
они разве не заточены на поисковую выдачу, грубо говоря, важно только, чтобы вверху были релевантны?
AS
они разве не заточены на поисковую выдачу, грубо говоря, важно только, чтобы вверху были релевантны?
NDCG@n
VC
Кросс-валидация возвращает матрицу, где в том числе есть средняя ошибка на каждой итерации. Нужно пройтись по этому столбцу и выбрать лучшее значение.
Как лучше усреднить по всем фолдам, там же среднее по каждому фолду?
AS
Где n это топ который учитывется
OT
поняла, спасибо
AD
Vad C
Как лучше усреднить по всем фолдам, там же среднее по каждому фолду?
там среднее по фолдам
VC
там среднее по фолдам
Ок, перефразирую: Каое значение рисуется на графике, если для каждой метрики для каждогов фолда есть свое среднее? Считается среднее средних каждого фолда?
AD
На каждой итерации рисуется и возвращается из функции число, равное среднему из всех качеств по фолдам, где качество на фолде зависит от того, какая метрика указана.
VC
На каждой итерации рисуется и возвращается из функции число, равное среднему из всех качеств по фолдам, где качество на фолде зависит от того, какая метрика указана.
ОК спасибо понял. Там просто метрик мно было и по кадой и трейн и тест, и казалось что это по каждому фолду средняя считается.
2019 March 06
Аa
Есть сервер с catboost 0.11, на котором крутится пачка моделек. Если на нём обновить котика до 0.12 - стоит ли ожидать, что на нём модельки от 0.11 заведутся? Или не мучаться и сразу перетренировать их на 0.12?
MK
должны заработать
AD
да, гарантируется обратная совместимость
Аa
спасибо