тем, что решает задачу подгрузки модели только на старте, а не на каждый запрос

Ее так же придется делать глобальной. Если у человека воркеры работали в один поток, то это не решит его проблему с памятью

это правда насчет памяти. здесь речь мне кажется больше о самом подходе грузить модель при ините сервиса или при каждом запросе. я вот не смог придумать сходу недостатки подхода выгрузки в переменную уровня модуля, может что-то упускаю? там более что это может дать радикальное преимущество по скорости обработки запросов

По скорости может дать преимущество, но не факт, что большое. Проблема глобальных данных во Flask заключается в том, что при одновременной обработке запросов можно получить состояние гонки. Эта проблема решается либо конфигурацией сервера для работы в один поток, либо синхронизацией потоков в коде, либо отсутствием глобальных данных. Есть еще одно решение - использовать локальные данные для потоков. Его использует сам Flask

Глобальные объекты на уровне модуля в другие модули передаются по ссылке, поэтому состояние гонки такой подход не устраняет

о, попробую, спс

Nlpub + naeval

CRF гуглится, но штука это сложная. Это модель предсказания элемента по значениям текущего элемента и прошлым элементам, например, словам в тексте. @madrugado рассказывал недавно в своём курсе в 5 или 6 лекции, но я так до конца и не понял, как оно работает :) марковская модель + Витерби, казалось бы, чего проще... Но без практики походу это бесполезно пытаться понять, как говорится в анекдотах про лиц кавказской национальности, преподающих в советских школах, "это нельзя понять, это надо запомнить"

Can anyone suggest how to remove slangs in text data, like so being written as soooo, awesome as awsm and many more, because of these my model accuracy is pretty low, please suggest some measure

я постараюсь лучше рассказать в следующий раз, значит

Это обычные  crf-модели обученные sklearn-crfsuite. Отличие в том что они в json-формате. sklearn-crfsuite не работает с pypy2, поэтому в natasha продублирована процедура инференса на чистом python. Код для обучения не опубликован. Использовать я бы не советовал, этому решению 2-3 года. Сейчас есть https://github.com/natasha/slovnet#ner.

Я читал статью на 50 страниц про них, но так и не понял, что и как

Спасибо посмтрю что там и кпк

Есть хороший плейлист, в котором по шагам рассказывается про crf https://www.youtube.com/watch?v=GF3iSJkgPbA&list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH&index=19&t=0s

Спасибо, изучу

Оно просто не очень наглядно по-умолчанию, надо больше примеров, что ли...

приветствую! вопрос по SLOVNET
Версия SLOVNET, которую ставит pip Install, 0.2.0,  отличается от HEAD в github, и api версии - от описанной в текущей документации. Например, класс NER в 0.2.0 отсутствует, вместо него NERTagger. Сигнатура load() изменилась. Это ещё полбеды, но ещё и загрузчик модели (беру файл по ссылке с гитхаба) жалуется на отсутствие в пакете scheme.json, которого в тарах действительно нет. Формат пакета поменяли? Как и кого лечить?

я склонировал репу и поставил с мастера через pip install -e .

ну это крайний вариант, да