MS
понял, значит, попробую установить напрямую из репы
Size: a a a
2020 March 14
MS
спасибо)
2020 March 15
ИГ
Здравствуйте, в мире NER есть берт, который умеет находить имена в текстах на любых языках. А есть ли подобные вещи в мире Анализа Тональности текста?
М
Иван Гладуш
Здравствуйте, в мире NER есть берт, который умеет находить имена в текстах на любых языках. А есть ли подобные вещи в мире Анализа Тональности текста?
ner_ontonotes_bert_mult от DeepPavlov. Он, конечно, не для "любых языков", но это один из немногих multilang ner с хорошими результатами для русского (https://towardsdatascience.com/19-entities-for-104-languages-a-new-era-of-ner-with-the-deeppavlov-multilingual-bert-1bfa6d413ea6).
ИГ
Михаил спасибо за ваш ответ, только я пытаюсь найти такую же точно штуку, как вы кинулю, только для анализа тональности текста
М
Иван Гладуш
Михаил спасибо за ваш ответ, только я пытаюсь найти такую же точно штуку, как вы кинулю, только для анализа тональности текста
Упс, похоже мой Open Domain Question Answering тригернулся только по первому предложению.
ИГ
На самом деле походив по сайту я нашел у них +- то, что похоже на ответ на мой вопрос, спасибо вам за наводку
М
Продолжая тему про ner_ontonotes_bert_mult... Кто-нибудь знает другие NER (кроме deeppavlov), которые также могут выделить для русского языка 18 типов сущностей, а не только PER, ORG, LOC. Может есть смысл попробовать перевести ontonotes google.translate'ом и обучить на нём. Я видел что переведённые dataset'ы используются для других задач. Кто-нибудь пробовал делать это для NER?
MM
RCO Fact Extractor SDK умеет, там тоже есть, помимо базовых сущностей, есть и деньги, телефоны, паспортные данные, в общем довольно много всего выделяют.
AK
2020 March 16
VI
Всем привет, кто-нибудь занимался обработкой текстов опенсорс лицензий на кейс принадлежности к какому-то виду: MIT, Apache, gpl?
э
всем привет. подскажите, пожалуйста, актуальных инструментов на проверку грамматики и пунктуации на русском. фиксить не надо, требуется только знать да/нет
SS
Отличный русский...
И
"Подскажите, пожалуйста, может быть есть путь оптимальнее? Например, сразу пробовать с spacy? ранее с spacy не работал."
для SpaCy нужно меньше примеров, если брать обученную модель, вроде бы хороший результат даже если будет около сотни, дальше можно идти active learning
при этом никакой предварительной обработки не требуется
разметку можно делать через doccano, скоро к нему допишем модуль для автоматизации разметки
для SpaCy нужно меньше примеров, если брать обученную модель, вроде бы хороший результат даже если будет около сотни, дальше можно идти active learning
при этом никакой предварительной обработки не требуется
разметку можно делать через doccano, скоро к нему допишем модуль для автоматизации разметки
можете подсказать, как лучше организовать active learning часть на обученной модели:
Например, я обучил NER ru2 на 100+ файлах. Запускаю ее в работу.
Далее я хочу обновлять модель новыми тренировочными данными по уже старым лейблам (распознаванию которых обучил ранее). Как я понимаю, нет потребности добавлять в новые тренировочные данные старые, так как “catastrophic forgetting” problem актуальна, если бы я попытался добавить новые лейблы.
Например, раз в день я хочу обновлять модель на 5-10 тренировочных примерах. Тренировку я запускаю только с nlp.update, так как resume_training потребовалась бы мне при добавление новых лейблов, а begin_training сбрасывает веса и актуальна только для модели с нуля.
Или я, все же, некорректно понял документацию, и при продолжение тренировки надо вызывать resume_training, которая обращается к rehearse(), а также добавлять к новым данным - старые, на которых изначально обучал модель.
Например, я обучил NER ru2 на 100+ файлах. Запускаю ее в работу.
Далее я хочу обновлять модель новыми тренировочными данными по уже старым лейблам (распознаванию которых обучил ранее). Как я понимаю, нет потребности добавлять в новые тренировочные данные старые, так как “catastrophic forgetting” problem актуальна, если бы я попытался добавить новые лейблы.
Например, раз в день я хочу обновлять модель на 5-10 тренировочных примерах. Тренировку я запускаю только с nlp.update, так как resume_training потребовалась бы мне при добавление новых лейблов, а begin_training сбрасывает веса и актуальна только для модели с нуля.
Или я, все же, некорректно понял документацию, и при продолжение тренировки надо вызывать resume_training, которая обращается к rehearse(), а также добавлять к новым данным - старые, на которых изначально обучал модель.
VR
можете подсказать, как лучше организовать active learning часть на обученной модели:
Например, я обучил NER ru2 на 100+ файлах. Запускаю ее в работу.
Далее я хочу обновлять модель новыми тренировочными данными по уже старым лейблам (распознаванию которых обучил ранее). Как я понимаю, нет потребности добавлять в новые тренировочные данные старые, так как “catastrophic forgetting” problem актуальна, если бы я попытался добавить новые лейблы.
Например, раз в день я хочу обновлять модель на 5-10 тренировочных примерах. Тренировку я запускаю только с nlp.update, так как resume_training потребовалась бы мне при добавление новых лейблов, а begin_training сбрасывает веса и актуальна только для модели с нуля.
Или я, все же, некорректно понял документацию, и при продолжение тренировки надо вызывать resume_training, которая обращается к rehearse(), а также добавлять к новым данным - старые, на которых изначально обучал модель.
Например, я обучил NER ru2 на 100+ файлах. Запускаю ее в работу.
Далее я хочу обновлять модель новыми тренировочными данными по уже старым лейблам (распознаванию которых обучил ранее). Как я понимаю, нет потребности добавлять в новые тренировочные данные старые, так как “catastrophic forgetting” problem актуальна, если бы я попытался добавить новые лейблы.
Например, раз в день я хочу обновлять модель на 5-10 тренировочных примерах. Тренировку я запускаю только с nlp.update, так как resume_training потребовалась бы мне при добавление новых лейблов, а begin_training сбрасывает веса и актуальна только для модели с нуля.
Или я, все же, некорректно понял документацию, и при продолжение тренировки надо вызывать resume_training, которая обращается к rehearse(), а также добавлять к новым данным - старые, на которых изначально обучал модель.
Добрый день, я напишу ответ чуть позже в личку. Сейчас мы занимаемся этим блоком и возможно есть смысл добавить вас к репозиторию.
VL
Всем привет, кто-нибудь занимался обработкой текстов опенсорс лицензий на кейс принадлежности к какому-то виду: MIT, Apache, gpl?
а их разве не должно быть какое-то очень ограниченное количество (<1000)? ручками разметить и готово
2020 March 17
АН
всем привет. подскажите, пожалуйста, актуальных инструментов на проверку грамматики и пунктуации на русском. фиксить не надо, требуется только знать да/нет
Если не умеешь фиксить, то не можешь знать надо или не
АН
Не так ли
э
Если не умеешь фиксить, то не можешь знать надо или не
угу, все так. просто цель проверить на ошибки и, если они есть, то делитнуть предложение из датасета. с грамматическими разобрался, с пунктуацией готовых моделек не нашел, чтобы в пару строк запустить. самому обучать затратно по времени для этой задачи
АН
Иначе никак