а катбуст до сих пор не поддерживает разреженные матрицы?

Привет! Пока нет, но работа над этим началась.

Всем привет, заметил что predict_proba (возможно и predict) кушает много памяти.
Например, запускаю predict_proba на датасете из 3 миллиона наблюдейний, на момент запуска 6Gb оперативной памяти занято из 32Gb.
Во время работы всех потоков процессора память не растет, потом начинает работать один поток и занимаемый объем памяти резко растет до 32gb чуть-чуть залезая в swap, после завершения работы занятый объем резко падает до 9Gb. Получается, что сами предикшены занимают около 3Gb, тогда зачем ему дополнительный 21Gb? Если добавлять больше наблюдений то уже будет глубоко залезать в swap, что не очень хорошо. Это правильная работа или какой-то баг?

Привет

А у тебя данные с катфичами?

да

а сколько float/categ фичей в штуках если не секрет?

возможно, придется делать для такого случая интернирование строк при переходе python->c++

всего 26 фичей из них 3 категориальные

в predict_proba передаю Pool

а

тогда тут не должно быть преобразования

и с пандас и с пулом одинаковая ситуация

сам же предикт многопоточный? когда много потоков там запущено память не растет, видимо начинает уже расти после предикта, какая то там операция после начинает кушать память

так)

у нас тут валенок на пульте кажется)

я что ли?)

я могу записать видео вывода htop

надо тут пофиксить, создавать np.array вместо питонячьего массива