залипла на списке...

Хм. Идея. Я вообще взял список запрещённых к регистрации кириллических доменов и убрал у них  .рф. Прошёл руками и убрал нематные. Потратил час. Список мата получился в 3000 строк. Преобразую токены в начальную форму через pymorphy и проверяю token in list. Всё равно находят люди новые формы.

Кстати если интересно, ещё перед проверкой заменяю латинские на кириллицу и делаю две формы слова. Вторая схлопывает повторяющиеся знаки в один. Вот тааак.

может стоит сравнивать не текст а изображения? потому как можно и так написать: ><Yũ

Ну русский народ на хитрости горазд. Факт. Но увы всю )}{(yiHl-0 не покрыть даже N3@бrажениями. Захотят написать - напишут. Но максимально хочется покрыть конечно.

Может тогда ещё слова которые не слова вовсе переводить в картинку и классифицировать?

На предмет эротический картинок или типа того(сиси, попы и т.д.)

в будущем так и будет, мы же через глаза картинку получаем, а буквы это всего лишь условности

А может будущее уже наступило?)

каждую секунду )

Мощности подход с картинками требует большой, и с качеством всё не очень хорошо.
Дай бог с текстом нормально решить)
Хотя в целом fasttext supervised должен корни мата выделить, особенно если ему эти 140к слов дать

вообще буквально на неделе видел статью с EMNLP про машинный перевод через картинки для устойчивости к изменениям в юникодных символах

*Exclusive Session with Certification by TechLearn on 😀*

*🔥""CREATE HANDWRITTING RECOGNITION SYSTEM USING PYTHON""🔥*  

*What is Handwritten digit recognition?*

Handwritten digit recognition is the ability of computers to recognize human handwritten digits. It is a hard task for the machine because handwritten digits are not perfect and can be made with many different flavors. Handwritten digit recognition is the solution to this problem which uses the image of a digit and recognizes the digit present in the image.

*Applications*
1. Identifying Number Plates for Vehicles
2. Amazon Textract
3. Samsung S-pen

*Features:*                                                                                    
-Shareable Certificate📜
-Instant doubt resolution🙋‍♂️
-Practice Material📝

🗓 Date : 2nd December 2021
⌛Time : 7pm to 8:30 pm

🔗 *Register at:* Message for Registration link

📩 Session Link will be mailed to you on your registered mail ID on the day itself.

Guys here is our EXCLUSIVE SESSION ON 🔥

*How Flipkart's Helping Small Business to Grow using NLP*

Have you ever wondered how e-commerce sites such as Flipkart help small businesses shine?.*Learn the tech behind Which technology is Flipkart using to execute this process?*

In this session, we’ll talk about how *Flipkart uses NLP to review product feedbacks and suggest improvisations to sellers.*

*What you’ll learn in this session?*

*1*.How product review helped Flipkart to understand user behaviour?
*2*.What is Natural language processing?
*2*.Natural language processing applications
*3*.Introduction to Topic Modeling
*4*.LDA algorithm explained

*Features:*
1.Shareable Certificate.
2.100% Online Live Class.
3.Instant Doubt Resolution.
4.Practice Material.

Anyone who is curious about *Data Science* & *Deep Learning* For *Natural Language Processing* can attend the session.
*SLOT 1 👉 1st December 2021*

*SLOT 2👉 3rd December 2021*

⏰Time :- *7:00 PM to 8:30 PM*

📎 *Register at:* Message for Registration link

✉️ Session Link will be mailed to you on Your registered mail ID on the day itself.

Ну у меня почти готов алгоритм. Выявление смысла предложения и противоречий в нем - одна часть алгоритма

Добрый день, коллеги! Есть задачка по обработке массива сообщений. Каждое сообщение, это некая жалоба, либо указание на проблему. С выделением смысла и ключевых слов из сообщений проблем нет. Но есть смежная задача по поиску связанных по смыслу проблем. Например, в сообщении есть указание на яму на дороге, надо показать скоп проблем в принципе, например, разметка, плохая работа светофора, гололед, колейность и т.п. Т.е., связанная проблема не обязательно содержится в текущем корпусе, это просто скоп однотипных проблем с дорогами.

кластеризуйте внутри уже выделенных топиков?

и ближайшие к центроидам