ES
Извиняюсь, чат был приватным. Исправил: https://t.me/Pullenti
Пока пустой..
Size: a a a
2020 April 07
A
Всем привет! Кто подскажет, где взять датасеты диалогов на русском? Может быть есть датасеты книг и фильмов, Тоже на родном. Я пока нашёл только диалоги на яндекс.толоки, и то в необычном формате.
YB
Всем привет! Кто подскажет, где взять датасеты диалогов на русском? Может быть есть датасеты книг и фильмов, Тоже на родном. Я пока нашёл только диалоги на яндекс.толоки, и то в необычном формате.
1) субтитры к фильмам opensub
3) https://kelijah.livejournal.com/252208.html ( и https://kelijah.livejournal.com/239618.html заодно )
3) https://kelijah.livejournal.com/252208.html ( и https://kelijah.livejournal.com/239618.html заодно )
A
Спасибо)
V
Всем привет! Кто подскажет, где взять датасеты диалогов на русском? Может быть есть датасеты книг и фильмов, Тоже на родном. Я пока нашёл только диалоги на яндекс.толоки, и то в необычном формате.
Есть ещё вот такой: https://tatianashavrina.github.io/taiga_site/
Там есть субтитры от сериалов на разных языках, в том числе и на русском. После очистки от мусора у меня вышло около 300Мб субтитров
Там есть субтитры от сериалов на разных языках, в том числе и на русском. После очистки от мусора у меня вышло около 300Мб субтитров
YB
Есть ещё вот такой: https://tatianashavrina.github.io/taiga_site/
Там есть субтитры от сериалов на разных языках, в том числе и на русском. После очистки от мусора у меня вышло около 300Мб субтитров
Там есть субтитры от сериалов на разных языках, в том числе и на русском. После очистки от мусора у меня вышло около 300Мб субтитров
300 мб русских?
V
Да, вот можете сами посмотреть, давно правда репо делал, но данные никуда не делись)
https://github.com/Desklop/Russian_subtitles_dataset
https://github.com/Desklop/Russian_subtitles_dataset
V
Вот сам .txt файлик https://github.com/Desklop/Russian_subtitles_dataset/blob/master/data/subtitles_ru.txt.zip
После разархивации будет 306.3Мб
После разархивации будет 306.3Мб
V
Использовал для экспериментов с seq2seq end2end чат ботами, когда писал диплом. С тех пор правда больше эти данные и навыки особо не пригодились) Один раз обучал правда word2vec на них, получилось вполне неплохо, но после наткнулся на rusvectories и надобность отпала
D(
Да, вот можете сами посмотреть, давно правда репо делал, но данные никуда не делись)
https://github.com/Desklop/Russian_subtitles_dataset
https://github.com/Desklop/Russian_subtitles_dataset
❤️
2020 April 08
S
Привет всем! Сформировал из новостного текста семантический граф концептов. Хочу выделить кластерные группы либо через CONCOR, Newman, Louvain или сродни им. На ваш опыт, для семантики какой алгоритм с теоретической точки зрения лучше? У меня пока лучше разбивает текст CONCOR, но хвостом чую, что теоретически такой выбор подкрепить не просто... Понимая, что вершины неживые
[вопрос коллеги — пытаюсь понять, как лучше прояснить]
[вопрос коллеги — пытаюсь понять, как лучше прояснить]
М
Всем привет! Мы ищем python (nlp) программистов для стартапа. Приветствуется опыт работы с question answering моделями. Если кого-нибудь заинтересует возможность присоединиться к стартапу или просто поделать интересные модельки за сдельную оплату - пишите в личку.
2020 April 10
GA
Ребята, подскажите хорошие ресурсы по обработке юридических документов на русском?
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
SP
Ребята, подскажите хорошие ресурсы по обработке юридических документов на русском?
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
для какого языка?
GA
Русский
YS
Ребята, подскажите хорошие ресурсы по обработке юридических документов на русском?
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
NER
M
Ребята, подскажите хорошие ресурсы по обработке юридических документов на русском?
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
Чтобы умела искать в pdf-документах инфу по содержанию, атрибутам. Например, сроки, стороны договора и т.д.
End-to-end решения для такой задачи пока нет, а хотят многие. Может быть, есть наколеночные.
Нужны:
- качественный OCR для структурированных текстов (где данные для такого?): конвертация картинки в текст;
- доменный NER: выделение сущностей в тексте;
- и сверху регулярочки для выделения контекста сущностей.
Пример: "Стороны пришли к соглашению 10.09.2019". NER выделит дату "10.09.2019", регулярочки находит, что в эту дату было событие "пришли к соглашению".
Задачу можно разбивать и на компоненты, отличные от NER+регулярка, зависит от целевого атрибута.
Нужны:
- качественный OCR для структурированных текстов (где данные для такого?): конвертация картинки в текст;
- доменный NER: выделение сущностей в тексте;
- и сверху регулярочки для выделения контекста сущностей.
Пример: "Стороны пришли к соглашению 10.09.2019". NER выделит дату "10.09.2019", регулярочки находит, что в эту дату было событие "пришли к соглашению".
Задачу можно разбивать и на компоненты, отличные от NER+регулярка, зависит от целевого атрибута.
KS
В SDK Pullenti есть обработчик InstrumentAnalyzer, который для договора, помимо стандартных сущностей, может выделить стороны договора с их полными реквизитами, восстановить структуру договора (разбить на главы-пункты-приложения-подписи).
YS
В SDK Pullenti есть обработчик InstrumentAnalyzer, который для договора, помимо стандартных сущностей, может выделить стороны договора с их полными реквизитами, восстановить структуру договора (разбить на главы-пункты-приложения-подписи).
Поддерживаю. В свое время смотрел на него и мне он понравился. Есть еще Natasha, DeepPavlov.