Так и есть. Плюс любая информация,которая поможет. Поэтому потом в процессе использования зависит, на каких текстах была обучена модель и на каких используется.

Грубо говоря если у вас неаккуратный текст, с опечатками в заглавных буквах, то модель ничего не определит. Или если было обучено на новостях, а применяется на документы юридического толка, то тоже будут проблемы.

https://nlpwithfriends.com/ - вдруг кому-нибудь из вас будет интересно

Спасибо!)

В ссылках на прошедшие семинары (презентации и видео), ролик музыкальный и отрывок фильма с хоббитами))

ну небось такой lorem ipsum, но если совсем смущает, можно спросить :)

Всем спасибо, у меня получилось 😂😂😂

Пока есть пара косяков в трейнинг датах, из-за чего косяки в модели, но я знаю, как исправить))

Скажите, кто-нибудь Prodigy пользуется?

Платный?

Метод Latent Dirichlet Allocation изначально направлен на решение именно этой задачи. Но с соответствующими особенностями : количество групп или кластеров надо подбирать экспериментально. При инициализации генератора случайных чисел разными начальными значениями итоговое наполнение групп может отличаться. Поэтому необходимо экспериментировать. Строки из картинки выглядят как имеющие шанс правдоподобно кластеризоваться.

Понял, спасибо!

Читала, что классическая реализация LDA плохо кластеризует короткие тексты (размера твиттов). Тематическое моделирование — это, вроде, та постановка задачи, но не классический LDA

Я бы потестила методы из этого треда:

https://github.com/bigartm/bigartm/issues/428

Я бы предложила начать с простого бейзлайна: sklearn k-means на сумке слов, подобрав оптимальное количество кластеров с помощью elbow или silhouette. На таком небольшом датасете, может, этого и будет достаточно.

всем привет, столкнулся с задачей формирования оглавления документов(юридических). вопрос-есть ли стандартные(классические/популярные) подходы по решению подобного класса задач? насколько я понимаю, наиболее близкая к этой задаче-text segmentation

суммаризация?

классификация скорее

Хотя смотря с какой стороны идти, если оглавление в самих документах указано, то суммаризация

кажется, да. в тексте должны присутствовать названия статей, номера пунктов и подпунктов, приложения и тд

ааа... вон какое оглавление. Ну, а если просто взять и извлечь названия этих статей. Статьи же как-то размечены, например, word

или в ПДФ тоже название будет как-то отличаться от основного текста

работа с  html, ну да, под разметкой имеются ввиду отступы и тд?