Добрый вечер. Не встречал кто-нибудь исследования применения композиций алгоритмов в разметке последовательностей ? Я имею ввиду не последовательный конвейер, типа: LSTM+CRF. А принятие решения на основе оценок нескольких моделей.

Model stacking погуглите
 
upd: простите, криво читаю — именно для этой задачи не похоже, что применяется

Будет вебинар по моделям второго уровня, возможно, то, что нужно https://karpov.courses/webinar?utm_source=gafarov&utm_medium=post&utm_campaign=webinar_may_gafarov&utm_content=anons

Да, я именно об этом. Большое спасибо.

Здравствуйте!

Интересует вопрос

Существует ли какой-либо открытый проект для менеджеринга разных библиотек для извлечения сущностей из текста?

Вот например, я хочу сгруппировать результаты работы StanfordNLP, и Tomita парсера

Хочу в результате указать, какие сущности имеют больший приоритет, или как-то объединять их.

И чтобы можно было бы задавать какие-то общие абстрактные правила для них обоих.

А еще желательно, чтобы можно было запускать их обоих в многопоточном режиме, то есть асинхронно.

Мне видится два варианта ответа:

Первый случай: такая библиотека для менеджеринга действительно есть. Тогда я был бы благодарен за ссылки, а также отзывы о их плюсах и минусах, краткое резюме по его использованию.

Второй случай:
Как вариант, можно использовать например следующую схему: в StanfordNLP добавить NLTK в качестве отдельного анализатора, и дальше использовать средства StanfordNLP для менеджеринга их обоих. Однако, в данном случае нету механизма разрешения приоритетов, то есть я не могу указать, чтобы сущности из StanfordNLP были большим приоритетом, а все остальные - меньшим, так как там не предусмотрено такого механизма.
Есть ли у вас опыт использования NLP библиотеки в качестве менеджера над несколькими разными библиотеками, и если есть, то скажите пожалуйста плюсы и минусы тех или иных

Вообще, было бы интересно посмотреть на реализацию подобного хотя-бы, чтобы понимать как лучше это организовывать

Спасибо за внимание

Мне все таки не очень понятно, что вы подразумеваете под "менеджерингом"

Это не менеджеринг, а скорее ensemble / stacking. Фреймворков таких скорее всего, но идея не новая. Можно поискать что то типа emsemble nlp ner models

Тогда буквально в прошлом сообщении присылали статью с этой темой.

Может кто с NLP помочь?
Есть пара тысяч объектов, каждый из которых описывается своим текстом. Задача - разбить их на группы. Я понимаю, что задача решённая и не раз. Вопрос - как это делать правильно (в смысле - наиболее эффективно).

Правильно ли я понимаю, что мой путь по шагам примерно такой:

1/ токенизирую
2/ чищу от стоп-слов
3/?
Вот в третьем пункте уже проблема. TF-IDF? Word2vec? Или BERT? Я о том, получать ли эмбеддинги на предложениях или отдельно на словах? Как сейчас люди нормальные делают?

У вас уже есть примеры классов или надо без учителя выявить?

Идеально бы - без учителя, конечно. То есть, вытащить топики. (Напр., десяток ключевых слов). Потом уже сущностно посмотреть на них и самому проставить.

Topic modelling :)))

есть даже такое на BERT

Я не помню, что там последнее хорошо работало, big artm кажется

Да, я понимаю. Я и спрашивал - как люди делают? Просто на каггле - куча разных решений.

Вот, кстати, о нем писали тоже

Сек

ну прежде, чем сразу делать какие-то решения, расскажите про сами данные? что за объекты, какие тексты ( длина, язык - один или несколько и тд)

вот тут соту можно посмотреть https://paperswithcode.com/task/topic-models