🤷‍♂️

Нет

Всем привет, есть куча тектов на русском языке, то иногда в них попадаются тексты на казахском и т.п. языках. Какие существуют практики выявления таких текстов?

Детектируйте казахские буквы!

Почти в каждом тексте на казахском есть спецсимволы - К с хвостиком, Н с хвостиком итд

спасибо

Как вариант еще можно смотреть сколько в текстах слов которые есть в русском словаре

Если меньше чем 60-70 процентов значит текст не русский

Можно воспользоваться готовым классификатором на fasttext, он кучу языков знает, и умеет сравнивать их довольно точно.
https://fasttext.cc/blog/2017/10/02/blog-post.html

если по какой-то причине не детектируются казахские буквы, можно пойти с обратной стороны и смотреть по буквам, частым в русском языке и отсутствующим в казахском.
я нечто похожее делал для другого тюркского языка, там такими буквами были "В", "Ф", "Ц", "Щ", "Ъ", "Ь"

еще, наверное, по буквенным триграммам можно, вот тут человек насобирал частотные триграммы:
http://crubadan.org/applications

🔫 @xdgcxfemwg3tzt23p кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, @automotom, @gislygisly, @Mifody, @ajtkulov
При поддержке Золота Бородача

🔫 @xdgcxfemwg3tzt23p кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
Andrey, @automotom, @gislygisly, @Mifody, Ilya Kalinin, @tomateit
При поддержке Золота Бородача

🔫 @iieenbmu9 кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, @gislygisly, Andrey, @automotom, @Mifody
При поддержке Золота Бородача

Посмотрите вот здесь: https://contract.embedika.ru - говорят, эта штука находит в тексте договора штрафы, неустойки и прочие санкции по договору. Бесплатно. Можете ещё погуглить на тему "робот для проверки шаблона договора"

спасибо! нашел ее уже. ближе к теме продукт Compas, но тут нще разбираться надо

Здравстуйте, подскажите пожалуйста, как керовской нейронки скормить готовые эмбединги берта?
Вот с w2v понятно всё, создаём эмбединг слой, добавляем туда матрицу эмбедингов и даём на вход айдишники токенов. У одинаковых слов одинаковые эмбединги. Но у берта же вообще для каждого слова свой эмбединг, который формируется в зависимости от контекста, и если мы загрузим в эмбединг слой матрицу эмбедингов из обучающей выборке, то как потом будет работать в тестовой выборкой? У её слов уже будут другие эмбединги

эмбеддинг берта это просто вектор. так что входом должно быть просто linear (dense).

поищите как можно дотюнить претренированные берты, может зайдет

Дотюнить берт - это единственный способ? Просто по моему это, для обучения, работает гораздо дольше - ведь в каждой эпохи заново векторы айдишников преобразуются в эмбединги. А если сначала получить эмбединги для всех текстов сразу и уже их использовать как данные для обучения, то тогда это решит проблему. Но пока я не могу понять, как скормить керасу многомерный массив