SK
Для пропусков лучше использовать несигнальные qNaN
Size: a a a
2021 June 07
AS
Понял, большое спасибо!
2021 June 08
RY
Добрый день. стоит задача классификация многоклассовая. Правильно ли понимаю, что в этом случае нужно использовать метрику
loss_function = 'MultiClass'?ЕП
RY
нашел такую формулировку лосс-функции. а есть документация с более подробным объяснением?
TB
Если я правильно помню, то можно даже не указывать ) Подав в качестве тагрета мультикласс - катбуст сам нужный лосс использует
RY
мне нужно обосновать выбор данной метрики. а если я не понимаю, то как объясню это людям?))
ЕП
ну. a[i][j] — это значение формулы для j-го класса для i-го примера, t[i] — это метка (истинный класс) для i-го примера, w[i] — вес i-го примера (по умолчанию 1). прогноз (вектор вероятностей принадлежать каждому из классов) считается как сигмоида значений формулы для всех классов...
RY
спасибо! ща есть хоть какое то понимание)
AM
странно, что от правильных ответов не зависит)
ЕП
так t[i] же
AM
а, окей
IL
Можешь поискать по запросу “softmax crossentropy loss” - будет много объяснений
RY
ок. спасибо!
RY
сори за назойливость, но есть еще вопрос) используем данную лосс-функцию для обучения модели. затем какую метрику использовать для валидации?
2021 June 09
AC
на валидации оценивается качество модели, какую хочешь метрику считай
2021 June 11
I
Привет. Ребят, кто нибудь пробовал использовать catboost на Azure Databricks ? Выдает похожие ошибки как в https://github.com/catboost/catboost/issues/1687 . Параметры: spark.task.cpus 2
spark.executor.cores 2 . Кластер использует Spark 3.0.1 и Scala 2.12
spark.executor.cores 2 . Кластер использует Spark 3.0.1 и Scala 2.12
RY
дообучение возможно только на CPU:
CatBoostError: catboost/cuda/train_lib/train.cpp:325: Training continuation for GPU is not yet supported. Но обучение одной партии занимает 30-40 минут(GPU 0.5-1 МИНУТА), таких кусков 10-15 - я не готов ждать 5-7 часов)) Можно ли в итоге обучать на одном куске фрейма, потом на следующем и так до конца используя при этом GPU???D
в катбусте это не поддерживается
D
если хотите gpu, то вам lightgbm подойдет,вроде
или xgboost, какой-то из них поддерживает дообучение на gpu
или xgboost, какой-то из них поддерживает дообучение на gpu