АН
Сам сейчас учу модель seq2seq для исправления пунктуации
Size: a a a
2020 March 17
э
Сам сейчас учу модель seq2seq для исправления пунктуации
о, не трудно будет скинуть, как дообучаешь?
АН
Не могу сорь, по работе делаю
D
о, не трудно будет скинуть, как дообучаешь?
Их полно. Точнее тех которые пунктуацию расставляют в тексте без пунктуации
э
Их полно. Точнее тех которые пунктуацию расставляют в тексте без пунктуации
а скинете? я за полчаса гуглинга не нашел таких, чтоб взять предобученную на русском языке и запустить
D
Датасетов написано много. Известными российскими авторами)) Гоголь например.
Ссылки кидали тут выше. Сейчас поищу.
Ссылки кидали тут выше. Сейчас поищу.
D
https://github.com/episodeyang/deep-auto-punctuation
https://github.com/panda-baba/bert_punct
https://github.com/nkrnrnk/BertPunc
https://github.com/miguelballesteros/LSTM-punctuation
https://github.com/dave-chatmost/pytorch-punctuator
https://github.com/bedapudi6788/deepcorrect
https://github.com/tensorflow/lingvo/tree/master/lingvo/tasks/punctuator
https://github.com/alpoktem/punkProsehttps://github.com/ottokart/punctuator2
э
https://github.com/episodeyang/deep-auto-punctuation
https://github.com/panda-baba/bert_punct
https://github.com/nkrnrnk/BertPunc
https://github.com/miguelballesteros/LSTM-punctuation
https://github.com/dave-chatmost/pytorch-punctuator
https://github.com/bedapudi6788/deepcorrect
https://github.com/tensorflow/lingvo/tree/master/lingvo/tasks/punctuator
https://github.com/alpoktem/punkProsehttps://github.com/ottokart/punctuator2
находил это сообщение вчера. русских моделек там нет, а тренить нет времени под эту задачу. только если брать deeppavlov'скую и пихать в bertpunc, но до этого пока не добрался
АК
Здравствуйте!
Посоветуйте аналог Копискепу для сопоставления текстов https://www.copyscape.com/compare.php
Хочу проверять уникальность всех неопубликованных статей друг относительно друга.
Сейчас пользуюсь Voyant tools, но копирайтеры не потянут - слишком сложен
Посоветуйте аналог Копискепу для сопоставления текстов https://www.copyscape.com/compare.php
Хочу проверять уникальность всех неопубликованных статей друг относительно друга.
Сейчас пользуюсь Voyant tools, но копирайтеры не потянут - слишком сложен
2020 March 18
I
Привет всем, подскажите пожалуйста на счёт yargy парсера и natasha. Можно ли с использованием Yargy для написании своих правил для извлечения какой-либо информации из текста добавлять в парсер extractor из библиотеки Natasha и использовать их одновременно? Например я хочу вытащить из текста НДС и значение после, но оно может быть либо числом с % либо расписанным числом, дак вот можно ли в написанные правила для извлечения НДС вставить MoneyExtractor в конце чтобы корректно извлекать величину НДС?
AM
Приветствую всех!
Подскажите, а есть ли какие-то общедоступные датасеты судебных решений? (Интересуют при этом судебные решения по КАСКО.)
Подскажите, а есть ли какие-то общедоступные датасеты судебных решений? (Интересуют при этом судебные решения по КАСКО.)
V
Белый дом, а также группа институтов, включая некоторые компании, просят помощи технического сообщества в исследованиях над COVID-19.
Если вы ML-инженер и вам знакома работа с NLP (natural language processing), вы можете помочь исследователям получить какие-то инсайды исходя из огромного датасета в 30 000 научных статей про короновирус.
Список задач которые пытаются решить:
https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge/tasks
На первом месте: "What is known about transmission, incubation, and environmental stability?".
Датасет:
https://pages.semanticscholar.org/coronavirus-research
Анонс:
https://www.whitehouse.gov/briefings-statements/call-action-tech-community-new-machine-readable-covid-19-dataset/
Если вы ML-инженер и вам знакома работа с NLP (natural language processing), вы можете помочь исследователям получить какие-то инсайды исходя из огромного датасета в 30 000 научных статей про короновирус.
Список задач которые пытаются решить:
https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge/tasks
На первом месте: "What is known about transmission, incubation, and environmental stability?".
Датасет:
https://pages.semanticscholar.org/coronavirus-research
Анонс:
https://www.whitehouse.gov/briefings-statements/call-action-tech-community-new-machine-readable-covid-19-dataset/
СУ
Всем привет! А если в берте брать выходы с нескольких слоёв, то как обычно с ними поступают? Суммируют/усредняют? Конкатенируют? Или по обстоятельствам?
YE
Берут взвешенную сумму, а веса обучают
2020 March 19
СУ
а с какими весами?
СУ
а, понял
СУ
спасибо!
DG
Привет всем, подскажите пожалуйста на счёт yargy парсера и natasha. Можно ли с использованием Yargy для написании своих правил для извлечения какой-либо информации из текста добавлять в парсер extractor из библиотеки Natasha и использовать их одновременно? Например я хочу вытащить из текста НДС и значение после, но оно может быть либо числом с % либо расписанным числом, дак вот можно ли в написанные правила для извлечения НДС вставить MoneyExtractor в конце чтобы корректно извлекать величину НДС?
да, но мне кажется, что легче просто добавить правило для НДС с использованием MONEY https://github.com/natasha/natasha/blob/master/natasha/grammars/money.py#L312 и добавить в extractor https://github.com/natasha/natasha/blob/master/natasha/extractors.py#L128
V
Ребят, а есть датасеты чит-чата (болтовни) подростков? Интересуют типовые темы и жаргон, как они в соцсетках общаются сейчас