Телеграмм чат группы catboost

tokenizers=[{'tokenizer_id': 'Space'}],
    dictionaries = [{
        'dictionary_id': 'Unigram',
        'max_dictionary_size': '50000',
        'gram_count': '1',
    },{
        'dictionary_id': 'Bigram',
        'max_dictionary_size': '50000',
        'gram_count': '2',
    }],
    feature_calcers=['BoW']

ничего не поменялось

_catboost.pyx in _catboost._check_train_params()

_catboost.pyx in _catboost._check_train_params()

CatBoostError: catboost/private/libs/options/text_processing_options.cpp:75: DictionaryOptions: no dictionary_id was specified

источник

15:27пожаловаться #4

ND

Nikita Dmitriev in catboost_ru

А покажи еще раз свой код

источник

15:28пожаловаться #5

TB

Taras B in catboost_ru

https://t.me/catboost_ru/10415

Taras B in catboost_ru

ЧЯДНТ?
def fit_model(train_pool, test_pool, **kwargs):
model = CatBoostClassifier(
random_seed=0,
max_ctr_complexity=1,
task_type='GPU',
iterations=10000,
eval_metric='AUC',
od_type='Iter',
od_wait=500,
learning_rate=0.03,
**kwargs
)

return model.fit(
train_pool,
eval_set=test_pool,
verbose=1000,
plot=False,
use_best_model=True
)

model_embeddings = fit_model(
train_pool, test_pool,
dictionaries = [{
'dictionaryId': 'Unigram',
'max_dictionary_size': '50000',
'gram_count': '1',
},{
'dictionaryId': 'Bigram',
'max_dictionary_size': '50000',
'gram_count': '2',
}]
)

CatBoostError: catboost/private/libs/options/text_processing_options.cpp:75: DictionaryOptions: no dictionary_id was specified

версия 0.24.3

Как-то по документации хочется побольше информации в части работы с текстом

источник

15:28пожаловаться #6

TB

Taras B in catboost_ru

только сейчас уже вызов

model_embeddings = fit_model(
    train_pool, test_pool,
    tokenizers=[{'tokenizer_id': 'Space'}],
    dictionaries = [
        {
            'dictionary_id': 'Unigram',
            'max_dictionary_size': '10000',
            'gram_count': '1',
        },
        {
            'dictionary_id': 'Bigram',
            'max_dictionary_size': '10000',
            'gram_count': '2',
        }
    ],
    feature_calcers=['BoW']
)

источник

15:32пожаловаться #7

ВК

Вячеслав Колосков... in catboost_ru

Добрый день. А катбуст для спарка выйдет погулять? :)

источник

15:38пожаловаться #8

SK

Stanislav Kirillov in catboost_ru

Да, попробуй 0.25rc2

источник

15:38пожаловаться #9

SK

Stanislav Kirillov in catboost_ru

Я ждал, пока нам твиттер разблочат чтоб везде одновременно запаблишить, но давайте прям сейчас

источник

15:39пожаловаться #10

ND

Nikita Dmitriev in catboost_ru

Taras B

только сейчас уже вызов

model_embeddings = fit_model(
    train_pool, test_pool,
    tokenizers=[{'tokenizer_id': 'Space'}],
    dictionaries = [
        {
            'dictionary_id': 'Unigram',
            'max_dictionary_size': '10000',
            'gram_count': '1',
        },
        {
            'dictionary_id': 'Bigram',
            'max_dictionary_size': '10000',
            'gram_count': '2',
        }
    ],
    feature_calcers=['BoW']
)

У меня не получается воспроизвести
Такая ошибка должна возникать, если в опциях словаря нет поля dictionary_id. Т.е. для dictionaryId она действительно возникает, но у тебя там dictionary_id и все должно быть ок
Можешь попробовать перезагрузить кернел ноутбука и попробовать еще раз? Мало ли где-то что-то закешировалось..

источник

15:39пожаловаться #11

TB

Taras B in catboost_ru

ок, попробую.

источник

15:41пожаловаться #12

SK

Stanislav Kirillov in catboost_ru

Всем привет! Мы опубликовали пререлиз CatBoost for Spark версии 0.25rc2 В этой версии пофиксились главные проблемы и теперь можно пробовать учиьть модельки на спарке, как мы надеемся, без особой боли. Документация доступна в составе устанавливаемого пакета, помимо этого мы сейчас пишем сопроводительные статьи с обзором особенностей реализации и туториалы. Пробуйте и приносите нам обратную связь!

источник

15:42пожаловаться #13

II

Ilia Iagupov in catboost_ru

Stanislav Kirillov

Всем привет! Мы опубликовали пререлиз CatBoost for Spark версии 0.25rc2 В этой версии пофиксились главные проблемы и теперь можно пробовать учиьть модельки на спарке, как мы надеемся, без особой боли. Документация доступна в составе устанавливаемого пакета, помимо этого мы сейчас пишем сопроводительные статьи с обзором особенностей реализации и туториалы. Пробуйте и приносите нам обратную связь!

Ура! Спасибо большое!

источник

15:43пожаловаться #14

d

dmitry in catboost_ru

Stanislav Kirillov

Всем привет! Мы опубликовали пререлиз CatBoost for Spark версии 0.25rc2 В этой версии пофиксились главные проблемы и теперь можно пробовать учиьть модельки на спарке, как мы надеемся, без особой боли. Документация доступна в составе устанавливаемого пакета, помимо этого мы сейчас пишем сопроводительные статьи с обзором особенностей реализации и туториалы. Пробуйте и приносите нам обратную связь!

А когда можно ожидать это в stable релизе (грубая прикидка)?

источник

15:44пожаловаться #15

SK

Stanislav Kirillov in catboost_ru

dmitry

А когда можно ожидать это в stable релизе (грубая прикидка)?

Самое главное работает, тут важно понять работает ли оно у вас:)

источник

15:45пожаловаться #16

IK

Ivan Kolemasov in catboost_ru

Stanislav Kirillov

Да, попробуй 0.25rc2

👍🏾

источник

15:45пожаловаться #17

SK

Stanislav Kirillov in catboost_ru

И еще, нам очень важны ваши истории успеха/неуспеха со спарком для того, чтоб получить понимание востребованности и продолжить инвестировать наши силы в развитие этой платформы

источник

15:46пожаловаться #18

SS

Sergey Salnikov in catboost_ru

чиста из интереса - что именно распараллеливается на спарке? или там просто обертка?

источник

15:47пожаловаться #19

d

dmitry in catboost_ru

Я сейчас работаю со spark и у нас потребность в обучении модели на кластере есть, если это позволит увеличить на порядок размер обучающий выборки (с соответствующим улучшением качества)

источник

15:47пожаловаться #20