ЯШ
Кажется это сделано на случай новых категорий
Size: a a a
2020 June 23
ЯШ
Если тебе прилетит новая категория, то ты не потеряешь данные, а она просто пройдёт с уже созданными категориями, как 0 0 0
ЯШ
Или вроде того
AG
OneHotEncoder создаёт столько переменных, сколько значений признака? а как же мультиколлинеарность? кажется, должно быть на 1 меньше, т.к. последняя переменная не несёт доп. информации, т.е. если всё нули, то она 1. в этом примере R=0, Y=0 уже означает зеленый. нет?
Вы правы: мультиколлинеарность действительно будет, и для линейных моделей обязательно исключать одну из фич. Не берусь сказать насчет деревьев и производных от них, но, мне кажется, для них это не критично, так как без одной из фич нельзя будет выделить определённый сегмент, например "red", а наличие фичи не должно приводить модель к чему-то ужасному
SD
Вы правы: мультиколлинеарность действительно будет, и для линейных моделей обязательно исключать одну из фич. Не берусь сказать насчет деревьев и производных от них, но, мне кажется, для них это не критично, так как без одной из фич нельзя будет выделить определённый сегмент, например "red", а наличие фичи не должно приводить модель к чему-то ужасному
для этого вроде красный должен быть закодирован как 0 0
желтый 1 0
зеленный 0 1
желтый 1 0
зеленный 0 1
AM
Подскажите пожалуйста: я отправила задания по курсу позже того срока, который отпускается на проверку. Как можно создать ссылки на задания для проверки?
АГ
Вы правы: мультиколлинеарность действительно будет, и для линейных моделей обязательно исключать одну из фич. Не берусь сказать насчет деревьев и производных от них, но, мне кажется, для них это не критично, так как без одной из фич нельзя будет выделить определённый сегмент, например "red", а наличие фичи не должно приводить модель к чему-то ужасному
Данный энкодер не рекомендуют использовать с деревьями и лесами, кстати... Никто не задумывался почему?
AG
для этого вроде красный должен быть закодирован как 0 0
желтый 1 0
зеленный 0 1
желтый 1 0
зеленный 0 1
Да, но у вас не будет отдельной фичи, выделяющей только красный, то есть дерево этот сегмент не увидит
SD
Да, но у вас не будет отдельной фичи, выделяющей только красный, то есть дерево этот сегмент не увидит
Да согласен полностью. Данный метод кодирования применим только к линейным моделям, где важно избежать коллинеарность с вектором из единиц
AG
Артём Глазунов
Данный энкодер не рекомендуют использовать с деревьями и лесами, кстати... Никто не задумывался почему?
Если вы наткнетесь на разбор данного вопроса, я был бы очень признателен, если бы вы поделились:)
АГ
Да согласен полностью. Данный метод кодирования применим только к линейным моделям, где важно избежать коллинеарность с вектором из единиц
Почему же, с бустингом очень неплохо у меня работал
SD
Артём Глазунов
Почему же, с бустингом очень неплохо у меня работал
Возможно этот признак оказался не важным? Или в у вас только по этим признакам была задача?
АГ
Я имел в виду классический энкодер preprocessing. OneHorEncoder
АГ
Там вроде нулями неизвестные категории помечают
AO
Артём Глазунов
Данный энкодер не рекомендуют использовать с деревьями и лесами, кстати... Никто не задумывался почему?
думаю, все дело в том что этом метод рожает очень много признаков. что ведет к переобучению в рандом форесте и наоборот в плохом кач*ве в бустинге (так как там строят невысокие деревья)
АГ
думаю, все дело в том что этом метод рожает очень много признаков. что ведет к переобучению в рандом форесте и наоборот в плохом кач*ве в бустинге (так как там строят невысокие деревья)
На бустинге качество хорошее, а рэндом не переобучается вследствие независимости деревьев. В том то и вопрос, почему лес не любит этот энкодер, а бустинг наоборот
K
Деревья в целом не очень любят ohe из-за того, что каждое отдельное дерево обучается на своём случайно выбранном подмножестве признаков. В итоге может получиться так, что часть ohe признаков будет отобрана для построения n-го дерева, а часть — нет.
АГ
Деревья в целом не очень любят ohe из-за того, что каждое отдельное дерево обучается на своём случайно выбранном подмножестве признаков. В итоге может получиться так, что часть ohe признаков будет отобрана для построения n-го дерева, а часть — нет.
Получается, что для обычного дерева он норм, для бустинга тоже. Все дело в подпространствах признаков. Спасибо
АГ
Получается, категориальные признаки как бы не используются на полную в лесе с ohe, что может быть ужасно для задач на них построенных..
АГ
Как тот же скорринг и отток