MS
Нет, нет:)
Regressor
Regressor
Не те значения скормил, виноват
А какую loss использует regressor? Mse?
Size: a a a
2020 April 15
AD
rmse да
М
Добрый вечер! Подскажите пожалуйста, параметр l2_leaf_reg - за что отвечает. В документации к катубусту мне не достаточно информации для его понимания
AU
На каждой итерации к лоссу добавляется квадрат l2 нормы вектора значений в листьях с этим коэфициентом
М
А физический смысл этого параметра?
AU
У меня плохо с физическими смыслами) Надеюсь, что кто-нибудь еще сможет ответить)
М
У меня плохо с физическими смыслами) Надеюсь, что кто-нибудь еще сможет ответить)
И на этом спасибо)
ВД
Интуиция подсказывает, что физический смысл - это регуляризация
2020 April 16
SN
А физический смысл этого параметра?
Смысл l2_leaf_reg - регуляризация, т.е. борьба с переобученностью модели. Чтобы не подгонялась под обучающую выборку до такой степени, что на контрольной уже не может ничего предсказать)) Улучшает robust - устойчивость прогноза, очень важный параметр
ВД
А подбирается он обычным гридсерчем от 2 до 30? Или есть что-то более эвристичное?
SN
я просто перебираю, но у меня тоже есть вопрос к catboost, как быть с регуляризацией L1 ? L2 признаки не отсеивает, и если наполиномил их много, хочется проредить. Мне здесь тоже далеко не всё понятно
ВД
Только что попробовал перебрать значения (0, 31, 4). Получил не монотонно убывающий график. Но все значения хуже дефолтного! Интересно, а какое по дефолту??
AB
Добрый день.
Подскажите, пожалуйста, ожидать ли, что при одинаковом датасете и рандом_сиде, модели, обученные на ГПУ и СПУ, получатся одинаковыми?
Подскажите, пожалуйста, ожидать ли, что при одинаковом датасете и рандом_сиде, модели, обученные на ГПУ и СПУ, получатся одинаковыми?
K
Вроде нет
IL
Нет, там есть ряд отличий. С основными отличиями можно ознакомиться здесь: https://catboost.ai/docs/concepts/faq.html#differencies-between-cpu-and-gpu
AB
Благодарю!
O
Всем привет, такой вопрос по текстовым фичам: в доке описана возможность задать Dictionary в моделе с помощью json параметров (https://catboost.ai/docs/references/dictionaries_options.html), отдельно есть класс Dictionary который можно инициализировать (https://catboost.ai/docs/concepts/python-reference_dictionary.html) (но не ясно как его встроить в пайпалйн преобразования фичей).
Вопрос следующий: к примеру есть несколько моделей и я хочу между ними пошарить один и тот же Dictionary с аналогичным набором слов, в текущей доке вижу только возможность определять новый Dictionary под каждую модель, в тоже время передать существующий класс нету возможности (по крайней мере в доке так точно). Возможно кто-то сталкивался с такой ситуацией и как-то пробрасывал один и тот же Dictionary в разные модели?
Вопрос следующий: к примеру есть несколько моделей и я хочу между ними пошарить один и тот же Dictionary с аналогичным набором слов, в текущей доке вижу только возможность определять новый Dictionary под каждую модель, в тоже время передать существующий класс нету возможности (по крайней мере в доке так точно). Возможно кто-то сталкивался с такой ситуацией и как-то пробрасывал один и тот же Dictionary в разные модели?
ВД
Если я правильно понимаю твой вопрос, то я бы посоветовал тебе использовать класс Pipeline (https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.html). При этом, скорее всего, придётся писать адаптеры. Либо функции, либо классы (привет GoF)
ВД
Мне доводилось это делать, в продакшне. Правда, пришлось немного залезть под капот sklearn, чтобы посмотреть, как там делаются некоторые вещи. Если есть навыки программирования Middle+, это не должно пугать)