SS
А в том же уставе может часто встречаться слово договор. А в договоре- соглашение и так далее.. однако, когда мы смотрим на документ глазами то сразу понимаем, что за документ мы держим в руках
Size: a a a
2021 March 04
SS
Классику точно стоит попробовать. Я не удивлюсь, если ключевых слов (или н-грамм) окажется в итоге достаточно.
Вот сейчас как раз экспериментирую, но подумал, вдруг есть ещё подход у кого на практике
VR
А в том же уставе может часто встречаться слово договор. А в договоре- соглашение и так далее.. однако, когда мы смотрим на документ глазами то сразу понимаем, что за документ мы держим в руках
Тогда это не область NLP - можно сразу распознавание образов использовать =)
VR
Классику точно стоит попробовать. Я не удивлюсь, если ключевых слов (или н-грамм) окажется в итоге достаточно.
У SpaCy есть классификатор на нейронке, его обучить на любом наборе документов - 5 минут
VR
Там даже токенизацию думать не потребуется, все сделает из исходного текста, коммерческий продукт
VR
только бесплатный
VR
У SpaCy есть классификатор на нейронке, его обучить на любом наборе документов - 5 минут
пример на github https://github.com/buriy/spacy-ru/tree/v2.3/examples
SS
У SpaCy есть классификатор на нейронке, его обучить на любом наборе документов - 5 минут
Эту либу знаю и использую для других задач. В данном случае подобный классификатор на очень подходит. Особенно если учесть размер документов. Меня ведь не тематика интересует или окрас текста (да за них в этой задаче и цепляться нельзя, это будет преимущественно шум, так как тематика может быть одна для нескольких типов), скорее речь идёт об особенностях структуры документа.
2021 March 05
IK
https://m.habr.com/ru/post/543826/
Кто-нибудь принимал участие в этом мероприятии? Можете поделиться впечатлениями? Сетап проблемы хорош, но странно, что так плохо с данными.
Кто-нибудь принимал участие в этом мероприятии? Можете поделиться впечатлениями? Сетап проблемы хорош, но странно, что так плохо с данными.
НК
Эту либу знаю и использую для других задач. В данном случае подобный классификатор на очень подходит. Особенно если учесть размер документов. Меня ведь не тематика интересует или окрас текста (да за них в этой задаче и цепляться нельзя, это будет преимущественно шум, так как тематика может быть одна для нескольких типов), скорее речь идёт об особенностях структуры документа.
Fasttext ?
НК
Эту либу знаю и использую для других задач. В данном случае подобный классификатор на очень подходит. Особенно если учесть размер документов. Меня ведь не тематика интересует или окрас текста (да за них в этой задаче и цепляться нельзя, это будет преимущественно шум, так как тематика может быть одна для нескольких типов), скорее речь идёт об особенностях структуры документа.
Тоже интересует классификатор типа документов. Это что-то на уровне литературного жанра. Есть новость, есть техническая документация, есть интервью, есть юридический документ, есть худлит и т.д.
НК
Любопытно также какие есть решения определить например стиль Толстого или Пушкина.
SS
Тоже интересует классификатор типа документов. Это что-то на уровне литературного жанра. Есть новость, есть техническая документация, есть интервью, есть юридический документ, есть худлит и т.д.
Да, очень похоже
A
Есть желание попробовать поконтрибьютить в open source либы в NLP. Кто что посоветует? Какого уровня задачки стоит рассматривать на начальном этапе?
DM
Есть желание попробовать поконтрибьютить в open source либы в NLP. Кто что посоветует? Какого уровня задачки стоит рассматривать на начальном этапе?
можете попробовать в DeepPavlov) у нас есть задачки разной сложности
https://github.com/deepmipt/deeppavlov-contrib-drafts/issues
https://github.com/deepmipt/deeppavlov-contrib-drafts/issues
A
Эту либу знаю и использую для других задач. В данном случае подобный классификатор на очень подходит. Особенно если учесть размер документов. Меня ведь не тематика интересует или окрас текста (да за них в этой задаче и цепляться нельзя, это будет преимущественно шум, так как тематика может быть одна для нескольких типов), скорее речь идёт об особенностях структуры документа.
А что вы понимаете под структурой документа? Ничего мне не мешает оформить договор по структуре, напоминающий протокол ОСА, или устав оформить, который будет напоминать договор. В юридической практике "тип документа" определяется по существу его содержания, а не по форме.
SS
А что вы понимаете под структурой документа? Ничего мне не мешает оформить договор по структуре, напоминающий протокол ОСА, или устав оформить, который будет напоминать договор. В юридической практике "тип документа" определяется по существу его содержания, а не по форме.
Спасибо что рассказали, я в общем сам юрист. Про "ничего мне не мешает" комментировать не буду. В юридической практике типы документа не определяется. Чтобы понять это, достаточно почитать ГК и вообще понимать приоритет действия НПА.
SL
Ребят, кто может на пару вопросов ответить касательно нового формата трейнинг даты для спейси .spacy — отпишите в личку, пожалуйста!
D•
@Alexander_V_C всё ходите со спамом по всем группам? :)
A
Ребят, кто может на пару вопросов ответить касательно нового формата трейнинг даты для спейси .spacy — отпишите в личку, пожалуйста!
Спросите здесь лучше. В чём именно вопрос?