Thanks

Вопрос про spaCy, не могу по доке разобраться. Если у меня уже есть объект Doc, который я сделал из кастомного списка токенов как в доке написано:

nlp = spacy.load("my_ner_model")
doc = Doc(nlp.vocab, words=["Hello", ",", "world", "!"])

То как мне этот документ прогнать через мою модель теперь, чтобы там именованные сущности разметились? Я знаю, что можно сделать это с сырым тексом как nlp("Hello, world!"), а как разметить готовый объект Doc - не могу понять. Причём не вариант объединить список слов сначала в текст, потому что spaCy начинает многие токены на 2 разных токена делить, а мне нужно сохранить свои токены.

Скорее всего, надо этот doc-объект в ner-классификатор передать

Добрый вечер! Хотелось бы узнать - при классификации текста с большим числом классов (~150) - значение лосс-0.37, а значение accuracy - 0.907. Всё очень плохо?

лосс сам по себе ни о чем не говорит

accuracy выглядит неплохим

А если графики такие?

я бы сказал, что можно продолжать тренировать - оно еще не вышло на плато

Спасибо!

То есть число эпох можно увеличить, понял

просто продолжить обучение

Есть у меня следующая задача, обработать все слова текста (допустим анализируем члены предложения и интонацию конкретного слова) и вывести пользователю сохранив исходное форматирование (знаки препинания, абзацы и тд). Есть примеры как такие данных лучше всего хранить?

Если у тебя 99% объектов будет принадлежать одному классу, а классификатор всегда указывать только на этот класс, то acc будет 99%. Пользуйся f1 мерой

Взять spacy или просто его внутреннюю модель (список спанов со словами)

Ок, посмотрю как у них устроено.

Т.е. в python метод re.search возвращает позицию начала, конца, и слово (если паттерн \w+ для примера берём), и по этим позициям можно, сохранив использованный текст, восстановить форматирование

И для каждого слова запоминать порядковые номера символов начала и окончания?

Ага

Думал про такой вариант, но на выводе тому же фронту не очень удобно будет с этим работать.