Кажется, это просто KNN на контекстных эмбеддингах токенов.
Основная проблема тут - это то, что разные варианты одной и той же сущности могут быть выражены разным числом токенов.
Впрочем, если примеров довольно много (а  100 - это много), то разные конфигурации могут попасться.

а код? есть только его статья от 2016 года

Вот сайт автора
http://www.chaoticlanguage.com/
- про код сейчас спрошу его в @internlp
https://t.me/internlp/348
но у меня давно очень похожее есть как для парсинга так и для морфлогического анализа - тут:
https://github.com/aigents/aigents-java/blob/master/src/main/java/net/webstructor/gram/main/LexStructor.java

есть где то блокнот по обучении морфологии без яндекс клауд? https://github.com/natasha/slovnet

не могу разобраться с тем что там уже есть

opencog что то отвечали своему конкуренту? :)

А как разное количество токенов в тексте объединять в спаны? Проходить окном и делать гипотезы для 1-2-3-грамм (не думаю что больше 3 будет)?

Да, мне кажется, так проще всего будет

А там видео как раз последние полчаса Роберт с Лайнасом пикируются 😉  https://youtu.be/YiVet-b-NM8?t=5578

Спасибо.

🔫 @Killas_banky кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@automotom, @cnstntn_kndrtv, @uran235, @eqaruna, @Pushkinue
При поддержке Золота Бородача

しまっった/しまいました

Означает ровно то, что написано, мб не так романтично, но некоторую бесповоротность произошедшего

Например, 忘れてしまったんです - "напрочь забыл"

Это точно то что Зельдович переводил?

похоже, что этот глагол присутствовал в тексте, но гарантировать я не могу. Я только закончил бакалавриат по японистике, и то давно :)

но вот

https://www.learn-japanese-adventure.com/can-you-explain-more-about-the-several-uses-of-the-verb-shimau.html#:~:text=Verb%20te%2Dform%20shimau%20also,t%20have%20happened%20(unexpectedly).

Hey Guys, I read a paper about Rumor detection and they used BERT as an unsupervised language representation, fine-tuning it using a small dataset, and combining it with a supervised learning model to provide an enriched text representation of the content of the rumor, Now I achieved the same accuracy using sentence-Bert, what are the differences between these two models and I want to know if their model is slower than mine or not, they did not mention the speed on their paper. they also have another paper with lower accuracy can I mention the paper that has lower accuracy to compare it with mine?

Понятно

Но никакого трагизма здесь нет, и дамы тоже

-てしまう Это просто грамматический оборот, абсолютно обычный, обозначающий довести действие до конца. Иногда, конечно его используют в разговорном, типа полностью забыть, но это просто небольшой оттенок досады, но никак не драма и не неизбежность.