Классно на помощь реагируешь, просто 👍

Привет всем!
Такой вопрос, может кто-нибудь знает. существуют ли какие-нибудь языковые модели, предсказывающие не конкретное слово в контексте, а просто часть речи? Чтобы можно было, например, проверить, является ли последовательность частей речи в предложении ожидаемой?
ADJ NOUN VERB PREP NOUN - ok
NOUN NOUN NOUN NOUN ADJ - not ok

М.б. предсказывать слово или вероятные слова для этого места и смотреть их часть речи?

Вот да, тоже подумывал об этом. Но просто я подумал, вдруг есть уже готовые модели конкретно для описанной ситуации 🤔 Спасибо!

Либо просто обучить языковую модель на частях речи, а не на словах
Я почти уверен, что есть предобученные, например, так омонимию морфологическую снимают
Но где такие лежат — не знаю, к сожалению

Спасибо! Попробую поискать :)

где? Не увидел. Поставленная проблема решена не была.

I have made a simple QnA chatbot in Python based on existing FAQs and now want to deploy it on the website. If the bot cannot answer, it should give an option to connect to a human agent.
How should I deploy it/serve it for the website?

Is there any notebook or any other resources where somebody has implemented all the basic text(English)  preprocessing functions in python or related libraries(nltk, spacy, etc.) ?

Look for "EDA" (exploratory data analysis) keyword on Kaggle for text contests/datasets

I want a very cleaner code... They are very difficult to understand...use a lot of libraries for eda...but I just want a set of functions...I think many of the kaggler might have their own text preprocessing pipeline ready

I want to transform my text data in a .CSV file into numericals(vectors). Which is the best method
1. Count Vectorizer
2.Tfidf Vectorizer
3. Word2Vec
4.Glove
5.Any other model
I know the type of vectorization we use will depends on the task we are having like Sentiment Analysis, Text summarization, Machine translation. I want to master one concept at first and then learn other concepts. Please guide me in this scenario. Thanks in advance.

Fasttext https://fasttext.cc/docs/en/python-module.html

всем привет

У меня стоит задача различить чем является фраза юзера, вопросом или не вопросом. Фразы задаются голосовым вводом, поэтому по знаку вопроса в конце предложения не вариант.

Как лучше это реализовать

Я уже хотел пошутить про знак вопроса на конце

На ум приходит поиск во фразе вопросительных ключевых слов, но чувствую что это не даст сто процентов верных срабатываний

На самом деле можно выделить из массива текстов вопросительные и не вопросительные предложения, замиксовать их и свести к задаче бинарной классификации

То есть натренировать классификатор на множестве вопросов и не вопросов? В общем то да, можно.