В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

catboost_ru

956 membersпожаловаться на группу
2021 January 02

d

dePuff in catboost_ru
Вопрос требований к качеству, количеству данных и ресурсов

На последнем майлрушном соревновании по токсичным комментариям tf-idf + логрег на 1% хуже берта был
источник
11:48пожаловаться#1

d

dePuff in catboost_ru
Кашницкий тоже недавно презентацию делал, что на неком объёме учебных примеров логрег догонит Берта на классификации

Если понимать как оно внутри работает, то очевидно почему
источник
11:51пожаловаться#2

ДС

Дмитрий Симаков... in catboost_ru
На яндекс контесте 19 года была задача определения тэгов (тем) новостей. Победил мешок слов. В топ три оказались и эмбеддинги, и берт.
источник
13:13пожаловаться#3

OR

Oleg Ruban in catboost_ru
Плюсую, часто для прода Берт проигрывает более простым моделям по классификации тональности и темы т.к. там не так много зависимостей контекста требуется, а модели по итогу весят в десятки, а то и сотни раз меньше.
источник
13:24пожаловаться#4

PT

Pavel Tomsha in catboost_ru
Делаю predict_proba для CatBoostClassifier. Выполняется стабильно в одном потоке. Установка значения thread_count например в 3 ничего не меняет - на компуктере во время прогнозирования загружено только одно ядро (на 100%), остальные простаивают.
Что можно сделать, чтобы predict_proba загружали побольше ядер?
Ubuntu 18.04.5, python, pip package catboost 0.24.4
источник
15:17пожаловаться#5

ДД

Дима Драгфри... in catboost_ru
Pavel Tomsha
Делаю predict_proba для CatBoostClassifier. Выполняется стабильно в одном потоке. Установка значения thread_count например в 3 ничего не меняет - на компуктере во время прогнозирования загружено только одно ядро (на 100%), остальные простаивают.
Что можно сделать, чтобы predict_proba загружали побольше ядер?
Ubuntu 18.04.5, python, pip package catboost 0.24.4
Попробуй в thread_count указать "-1", я могу ошибаться, но вроде при данном значении задействуются все доступные ядра.
источник
17:37пожаловаться#6

PT

Pavel Tomsha in catboost_ru
Дима Драгфри
Попробуй в thread_count указать "-1", я могу ошибаться, но вроде при данном значении задействуются все доступные ядра.
-1 - это значение по умолчанию. Если задать его явно, то точно также эффекта нет
источник
17:53пожаловаться#7

SK

Stanislav Kirillov in catboost_ru
А в датасете нет кучи стринг переменных типа текстов или катфичей?
источник
19:10пожаловаться#8

PT

Pavel Tomsha in catboost_ru
Stanislav Kirillov
А в датасете нет кучи стринг переменных типа текстов или катфичей?
Куча катфичей есть. Но кажется, что для predict это особо не должно быть проблемой. По дереву, скорее всего, прогноз в одном потоке делается независимо от типа фичей. Но как минимум всегда можно разбить набор данных на батчи и запускать прогноз на каждом из них в разных потоках. Выглядит как будто так оно и должно работать, потому и спрашиваю
источник
20:54пожаловаться#9
2021 January 03

DG

D G in catboost_ru
провет, если ли какой-то способ использовать ГПУ с init_model?
источник
19:50пожаловаться#10
2021 January 04

L

LS in catboost_ru
Вопрос к команде, сейчася в процессе тестирования, и работаю с небольшой базой, табличные данные. Train df 7.3 gb, Val df 4.8gb. И меня волнует нагрузка на память, сейчас она около 20 гигов, не много ли?
источник
17:57пожаловаться#11

L

LS in catboost_ru
И какое будет потребление памяти при условии что train df будет 700-800 гб и соответственно Val df 200gb? То есть памяти потребуется в 100 раз больше?
источник
18:01пожаловаться#12

TB

Taras B in catboost_ru
LS
Вопрос к команде, сейчася в процессе тестирования, и работаю с небольшой базой, табличные данные. Train df 7.3 gb, Val df 4.8gb. И меня волнует нагрузка на память, сейчас она около 20 гигов, не много ли?
Сильно зависит от фичей. Можно с типами поиграть. И сильно срезает память выставление параметра max_ctr_complexity=1
источник
18:18пожаловаться#13

L

LS in catboost_ru
Taras B
Сильно зависит от фичей. Можно с типами поиграть. И сильно срезает память выставление параметра max_ctr_complexity=1
Тогда может упасть accuracy так как взаимосвязей между категориальными фичами будет меньше. Наверно вопрос сводится к банальному, хватит ли 128 гб памяти или нет?
источник
18:35пожаловаться#14

L

LS in catboost_ru
А если по фичам то их около 1700 14 из которых категориальные
источник
18:35пожаловаться#15

TB

Taras B in catboost_ru
LS
Тогда может упасть accuracy так как взаимосвязей между категориальными фичами будет меньше. Наверно вопрос сводится к банальному, хватит ли 128 гб памяти или нет?
Ну это понятно, только цена вопроса обычно стоит этой просадки в проме
источник
18:37пожаловаться#16

L

LS in catboost_ru
Taras B
Ну это понятно, только цена вопроса обычно стоит этой просадки в проме
В смысле в проме? Не очень понимаю 🙂
источник
18:50пожаловаться#17

TB

Taras B in catboost_ru
LS
В смысле в проме? Не очень понимаю 🙂
В продакшене. Если вопрос не для соревнований)
источник
18:50пожаловаться#18

L

LS in catboost_ru
Taras B
В продакшене. Если вопрос не для соревнований)
Для себя)
источник
19:00пожаловаться#19

TB

Taras B in catboost_ru
Ну тогда проверь снижается или нет метрика. Часто, реально не заметно)
источник
19:02пожаловаться#20