Спасибо

Chatterbot ещё говорят нормальный, но я тоже использую Rasa

кстати, вопрос из любопытства - вы используете расовские истории в продакшене? или только NLU часть ?

Только NLU, и то я там некоторые вещи дописывал и по свои элементы в пайплайн добавляли

Думаем пробовать и Core прикручивать, но пока с ним много проблем, и скорость работы не очень

да, это понятно, особенно если язык русский

Добрый вечер. Какая метрика лучше всего покажет качество модели классификации текста при большом количестве несбалансированных классов (примерно 150 )?

F score

f1_macro или f1_micro?

Я бы смотрел на f1_macro (чувствительна к мелким классам, но оттого шумная) и на обычную accuracy (более стабильная и хорошо отражает среднее по больнице).

Спасибо!

Привет, не подскажаете по DeepPavlov. Обучаю их берта, и при сборе метрики у них лосс почему-то только для тренировочного датасета собирается, для валидационного нет. Для обучения собирается конфиг и я пытаюсь понять, могу ли я где-то в этом конфиге указать, чтобы лосс тоже собирался?

Привет, а что обучаете? bert-ner, bert-classifier, bert-squad?

classifier

Одним параметром в конфиге это не сделать. В deeppavlov конфиги устроены так, что при обучении модель видит target-ы и подсчитывает loss, не выходя из tf-графа, а при валидации не видит. А значит, лосс нужно заимлементить отдельно вне модели.

Можно это сделать, заимлементив один класс в директории deeppavlov/metrics (смотри пример с log_loss https://github.com/deepmipt/DeepPavlov/blob/master/deeppavlov/metrics/log_loss.py). Далее в конфиге в секцию "metrics" вставляешь новую метрику по образу и подобию предыдущих (ключи "name" и "inputs")

спасибо!

Кто-нибудь покрывал тестами форму в rasa'вском action-сервере? Может есть пример, как ее снаружи аккуратно вызывать репликой?

продолжаю поиски синтаксического парсера. копнул syntaxnet и udpipe. проблема в том, что они реализуют dependency tree parsing, в то время как я искал constituency parser. по всему гитхабу такой же предобученный парсер ищет какой-то парень, и, похоже, он его не нашёл, похоже что для русского языка такой предобученной модели нет в принципе...

в русском много возможных перестановок и constituency проблемен в применении (если только делать отдельную логику для «распутывания» непроективных предложений, недавно вроде обсуждали тут, но я не знаю, насколько это эффективно работает), поэтому для русского используют dependency. примеров constituency для русского я даже не знаю.

Не ищите ))