AO
все же ни раз натыкался на две мысли.
1. много признаков - плохо для дереьвьев
2. разряженные признаки - плохо для дереьвье
1. много признаков - плохо для дереьвьев
2. разряженные признаки - плохо для дереьвье
Size: a a a
2020 June 23
AO
one hot это прям 2 в 1
К
А что хорошо для таких даных?
АГ
все же ни раз натыкался на две мысли.
1. много признаков - плохо для дереьвьев
2. разряженные признаки - плохо для дереьвье
1. много признаков - плохо для дереьвьев
2. разряженные признаки - плохо для дереьвье
Думаю, первое все же связано со сложность и временем скорее, хотя ohe не всегда много признаков даёт, второе в подпространствах, как я понял теперь...
K
Артём Глазунов
Получается, категориальные признаки как бы не используются на полную в лесе с ohe, что может быть ужасно для задач на них построенных..
Не так все страшно. Если у вас не гигантское количество категорий, ohe не будет сильно отличаться по качеству от лейбл энкодинга
АГ
Все зависит от размера подсэмпла, наверное, нужно его оптимизировать внимательнее тогда
АГ
А что хорошо для таких даных?
На категориальных у меня бустинг работал, на множестве разреженных типа bow - линейные алгоритмы с регуляризацией
К
Мг, ну да, логично, спасибо
АГ
Не так все страшно. Если у вас не гигантское количество категорий, ohe не будет сильно отличаться по качеству от лейбл энкодинга
А как лейбл энкодингу привязать handle unknown? Можно свою обертку написать, конечно, но есть ли из коробки?
K
Артём Глазунов
А как лейбл энкодингу привязать handle unknown? Можно свою обертку написать, конечно, но есть ли из коробки?
Лейбл энкодинг — это ведь обычный словарь. Можно вручную там добавить элемент типа -999: unknown
АГ
Лейбл энкодинг — это ведь обычный словарь. Можно вручную там добавить элемент типа -999: unknown
Ясно, спасибо
АГ
А чем принциально hashing trick крут по сравнению с остальными, за исключение ненужности хранить словарь?
SS
ohe вообще плохи для деревьев, т.к. они сильно "фонят" при выборе сплита, перетягивая одеяло на себя, и задвигая возможно более важные признаки
K
Но ведь там всего один возможный сплит
SS
когда строят очередной узел дерева, выбирается - какой признак используют для сплита. ван-хотовские признаки при этом мешаются под ногами.
AO
Sergey Salnikov
когда строят очередной узел дерева, выбирается - какой признак используют для сплита. ван-хотовские признаки при этом мешаются под ногами.
а как он выбирается? тот пи котором меньше энтропия?
K
Sergey Salnikov
когда строят очередной узел дерева, выбирается - какой признак используют для сплита. ван-хотовские признаки при этом мешаются под ногами.
Ну что значит мешаются. Для дерева это обычный признак и перебрать пороги по ним несильно сложно для деревяшки. Учитывая, что на один бин признак всего один сплит возможен
K
В общем на практике если у ваших кат фичей не очень большая кардинальность, то лично я особой разницы между лейблэнкодингом и ohe не видел.
i
Тервер по полочкам)