Подскажите какие техники есть улучшения intent классификатора. Я давно уже не реализовывал может какието трюки новые появились

В основном появились хорошо забытые старые трюки.
Яндекс, например, выкатил для разработчиков навыков Алисы NLU на рукописных грамматиках.
И с учётом того, что ни у кого нет нормальных размеченных данных, это работает лучше любых (в основном не существующих 🤷‍♂️) машиннообученных классификаторов 🙈

вот это можо взять для начала https://sklearn-crfsuite.readthedocs.io/en/latest/tutorial.html#features
аффиксы в отдельный CountVectorizer, позицию можно категриально

Спс

Всем добрый! Подскажите может кто решал задачу избавления от шумов? Есть ли какие библиотеки нормальные для этой задаче? В более приближенном виде задача схожа с получением минусов из музыкальных произведений

Вам вот сюда: @speech_recognition_ru

Всем привет! Может кто-нибудь сталкивался с такой задачей, был бы рад, если бы вы поделились своими мыслями на этот счет 😊

В общем, есть извлеченный из текстового корпуса (английская вики) словарь слов: слово + сколько раз оно встречалось в корпусе. И словарь отсортирован по убыванию количества упоминаний.

Так вот, необходимо, на основании этих значений сгруппировать слова на условные группы: "очень частые, "частые", "менее частые" и т.д, соответственно присвоив этим словам условную сложность: 0, 1, 2 ...  

Собственно вопрос в том, каким образом определять такие интервалы? 😥

В конечном итоге это нужно для того, чтобы присвоить некоторому входному тексту значение "сложности", на основании, допустим, среднего количества сложности отдельно взятых слов.

xyz-анализ

ого, не слышал о таком, спасибо!

хотя он про продажи больше, но легко ложится на другие задачи

коллеги а есть кейсы сравнения текстов на одну тему?  грубо говоря есть две статьи в разных изданиях с одинаковой аудиторией читателей, одну дочитывают, а на вторую забивают. Естественно стиль написания везде свой. Хочется понять на уровне алгоритма, чем отличаются тексты. Тональность нейтральная, побуждающих к действию глаголов почти поровну - тексты коммерческие.  Как лучше поступить для анализа?

Не, боюсь, что в моем случае это не подойдёт (

Интуитивному понятию "сложность" соответствует метрика perplexity. Это средний логарифм от относительной частоты слова в минус первой степени.
Например, у нас текст "мама мыла раму", в корпусе слово "мама" встречается 100 раз, "мыла" - 10 раз, "раму" - 1 раз, а сам корпус размера 1 000 000. Тогда перплексия этого текста будет 1/3 * (log(1 000 000/100) + log(1 000 000/10)+log(1 000 000/1)).
Чем более редкие слова, тем выше перплексия, всё как ты хотел.
И делить слова на группы не нужно; кажется, что это лишний промежуточный шаг)

ого! спасибо огромное, кажется это то, что и было нужно 😊

А попробуй сделать суммаризацию по тексту и уже анализировать суммаризацию

Подскажите, пожалуйста, что примерно можно погуглить/почитать, если хочется научиться решать такую задачу: из всего текста, находящегося на сайте компании научиться вычленять только её название. (ну вот например на dellin.ru куча текста, но интересуют только два слова - "деловые линии")  Выборка для обучения есть, вроде довольно большая (понятно, что обычно это название лежит где-то в футере, но не прям всегда, к сожалению, еще есть готовые штуки от deeppavlov которые выделяют название организаций из текста, но тоже как то так себе работает)

Привет! А кто-то задачу для суммаризации по русскому языку с rubert от deep pavlov решал?

И, может быть, кто-то тестил MarianMT ? https://huggingface.co/Helsinki-NLP/opus-mt-en-ru

Народ напомните а то забыл для русского языка лучше стемминг или лемматизация и если кто помнить дайте ссылку на пруф