SK
не совсем так
Size: a a a
2019 April 01
SK
ohe работает очень быстро, но он не применяется если кардинальность фичи больше, чем one-hot-max-size
SK
для таких случаев работаю счетчики
N
Если признак категориальный и не числовой и не упало, то наверное он примерился ( значение меньше obe-hot-max-size)
SK
3 категориальные с 99/59/1743 - у нас по умолчанию one_hot_max_size == 2
SK
Так что в данном случае как раз счетчики
SK
можно попробовать поднять этот параметр до 100 и посмотреть на скорость
SK
Nikolay
Если добавляется 1800 колонок , то должно и замедлится
при ohe никакие колнки не добавляются, считаются гистограммы по каждому значению one-hot фичи точно таким же образом, как и для float фичей, только подсчет score сплита разный
N
А в гистограмме какой размер бакета ? Или там всегда 256 бакетов ?
SK
это довольно сложный вопрос :) В следующем релизе будет куча оптимизаций про это, но для версии 0.13.1 да, в гистограмме максимум 255 значений
SK
Ну и плюс уже в текущем релизе есть механизм перепаковки 8 бинарных гистограм (то есть только с двумя бинами) в одну
А
это довольно сложный вопрос :) В следующем релизе будет куча оптимизаций про это, но для версии 0.13.1 да, в гистограмме максимум 255 значений
А когда ориентировочно будет релиз?
Спасибо за отличную библиотеку.
Спасибо за отличную библиотеку.
SK
мы уже на пути к нему :)
SK
есть несколько блокеров внутренних, мы их чиним и катим сразу
А
Очень круто
А
Посоветуйте, пожалуйста, где можно облачно посчитать? Фичей ~2200, на Google Colab 65 тысяч итераций считает час. Нужно быстрее.
SK
а сколько объектов?
А
100 тысяч в трейне
А
99 с копейками на самом деле
А
colab какую-то интересную штуку добавил, но не очень понятно работает ли это, если это мощность GPU