А трейн есть для кастом-нер в slovnet? Не вижу в репе.

Формат там, как я понимаю, conll

Не знаю, я ещё с ним не разбирался

там вроде в репе есть папка scripts

Судя по всему вот это: https://github.com/natasha/slovnet/blob/master/scripts/07_syntax/main.ipynb

Коллеги, с Праздником! 5 дней назад был запущен публичный опрос по функциональным требованиям к NLP-системам. Я обещал, что будут опубликованы результаты. На сегодня заполнено 12 анкет. Делюсь с вами промежуточными результатами и, надеюсь, что если вы еще не участвовали в опросе, всё же найдете возможность поделиться вашим мнением. Если интересно - буду и далее публиковать промежточные результаты. Финальный отчет планируем сделать когда будет более 100 анкет с ответами (для репрезентативности). Онлайн-анкета опроса опубликована https://docs.google.com/forms/d/e/1FAIpQLSclUbCFWfGLZ6KUGB2zhQawMUueCSuj6oYcOsWwMMLKtvszaA/viewform

Интересно.
И у меня когнитивный диссонанс: 75% требуется только русский язык, но сервис не обязан быть размещен в РФ. При этом в NER явно желают распознавать и, наверное, потом хранить, обрабатывать ПДн. И да, я понимаю, что в анкете могли быть респонденты из Украины, Беларуси, Казахстана - не РФ.

Here is the final part of Covid-19 chatbot series. If you like my videos kindly subscribe my channel 🙏
Part-6 | Integration of Chatbot with Telegram | Adding Quick Replies | End-to-End Covid-19 Chatbot
https://youtu.be/-ZwPf1fqIF0

Part -1| Introduction | End-to-End Covid-19 DialogFlow Chatbot | Python | flask| MongoDB| RapidAPI| https://youtu.be/ubub9Nz681s

Guys inhave open sourced its code. Do utilize the opportunity

And learn step wise step

thanks Dinesh, quiet interesting

кто-нибудь обучал свой токенайзер для nltk?

у них нашел вот такой пример:

# import punkt
import nltk.tokenize.punkt

# Make a new Tokenizer
tokenizer = nltk.tokenize.punkt.PunktSentenceTokenizer()

# Read in training corpus (one example: Slovene)
import codecs
text = codecs.open("slovene.plain","Ur","iso-8859-2").read()

# Train tokenizer
tokenizer.train(text)

# Dump pickled tokenizer
import pickle
out = open("slovene.pickle","wb")
pickle.dump(tokenizer, out)
out.close()

если у меня арабский язык, например, то достаточно ли что я просто plain текстов кучу соберу, положу их в файлик и проделаю тоже самое, ок ли будет?
стоит ли надеяться что с полтычка заведётся и будет хорошо работать?

просто не понимаю какими метриками и как потом это можно будет оценить 🙁

метрики зависят от конечной задачи, можно попробовать с одним токенизатором и с другим и посмотреть на общее качество по задаче

задача разбивать текст на предложения )

ну и в целом просто интересно могу ли я вот так с наскока сделать свой модель и выгрузить её для всех, т.к. как раз у меня есть, например, для арабского куча текстов сейчас

а, если она и есть конечная, то тогда проще всего сравнить с размеченной выборкой -- для арабского, кажется, размеченный сет должен быть в Universal dependencies