AN
Спасибо за ссылки. Но вопрос в том как в обученной модели посмотреть собранные словари и фичи. Ведь они сохраняются в модели или по сути не нужны после обучения ?
Size: a a a
2020 July 21
ЕП
Спасибо за ссылки. Но вопрос в том как в обученной модели посмотреть собранные словари и фичи. Ведь они сохраняются в модели или по сути не нужны после обучения ?
словари нужны для применения и сохраняются в модель.
извлечь их пока нельзя :(
если очень нужен словарь, то можно простроить его с помощью классов Tokenizer и Dictionary вот по этому рецепту https://catboost.ai/docs/concepts/algorithm-main-stages_text-to-numeric.html
извлечь их пока нельзя :(
если очень нужен словарь, то можно простроить его с помощью классов Tokenizer и Dictionary вот по этому рецепту https://catboost.ai/docs/concepts/algorithm-main-stages_text-to-numeric.html
AN
словарь построить получается но как его применить к модели ? я так понимаю модель сама строит словари по настройкам в text_processing и эти словари недоступны в модели ?
ЕП
да, словарь строится в начале обучения и записывается в модель. технически можно извлечь словарь из модели, но пока это не реализовано.
SK
Всем привет! Мы гачали реализовывать поддержку Spark и поэтому хотелось бы оценить количество людей, кому это будет полезно (и какая именно функция - применение или обучение в первую очередь вам интересна). Просьба ответить всем заинтересованным :)
Анонимный опрос
Проголосовало: 128SS
имхо важнее распараллеливание обучения возможностями spark-а. применять можно и существующими решениями
IP
Всем привет! Мы гачали реализовывать поддержку Spark и поэтому хотелось бы оценить количество людей, кому это будет полезно (и какая именно функция - применение или обучение в первую очередь вам интересна). Просьба ответить всем заинтересованным :)
Анонимный опрос
Проголосовало: 128Можно подробнее, что подразумевается под применением?
IP
Исполнение батчами?
SK
Да, просто стриминг-применение модельки
A
А я думал, что указываешь путь к паркету/hive-табличке и путь к файлу с моделью и получаешь паркет с предсказнием.
IP
Какие планируются сроки релиза такой фичи?
SK
Обучение хотим добить в Q3, ближе к сентябрю будем искать бета-тестеров которые смогут помочь с тестированием и дать фидбек
IP
Спасибо
SK
Вы бы хотели стать нашим тестером?
IP
Мои источники данных находятся в Сбере, там не получится из-за политики безопасности, при всем желании
SK
в смысле там нельзя пользоваться катбустом?
Аa
В опрос тыкать не буду, но с моего дивана обучение на спарке важнее - данных для обучения много, а применение и так феерически шустрое
IP
Нет, можно, но мы напрямую качать с гита не можем, качаем с локального индекса pip, это задержка уже после внедрения релиза на несколько недель
SK
А, понятно!
IP
Уходит время на проверку исходного кода и на репликацию, на ОПЭ и тп. В итоге по версиям у нас отставание на несколько недель