Пожалуйста!) Он правда не очень активно развивается, к сожалению. Но особых проблем с ним я неприпомню.

USE прекрасно живет и с первым TF. Вот прямо сейчас на 1.14 сидим

Да тут выяснилось, что беда не только с ним. Но всё равно спасибо

С одной стороны, да: куча лишнего, всё громоздко и запутано (как специально...). Без reverse engineering'а не разобраться. Но с другой стороны, для NER я не видел модели, которая также хорошо отрабатывала бы на моих данных (предложения из абсолютно разных областей знаний). Я имею в виду именно multi-lang: https://demo.deeppavlov.ai/#/mu/ner , остальные, на мой взгляд, гораздо хуже. Может кто-нибудь знает стоящие аналоги на которые можно перейти?

А сейчас будет нубский вопрос. Как word2vec может работать с омонимией и полисемией?
Собачка и собачка это же два разных слова в разных областях пространства. Как их разделить?

Если препроцессить текст,  то "Собачка" и "собачка" будут одинаковым словом, так что никак

word2vec их тупо усредняет. Чтобы разные смыслы разделить, нужен контекст и контекстные эмбеддинги, типа ELMO или BERT

Вроде что то есть но хз

Спс

насколько хороший подход?

Я ж сказал. Вопрос у меня нубский. Сам не знаю

И связанный вопрос. А есть ли словарь английского с выбранными из Bert или Elmo словами где конечно смыслы разделены

И ещё вопрос. А как быть с get up, let down? Это по сути цельные слова.

к примеру здесь https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/#34-confirming-contextually-dependent-vectors
показано как ЗНАЯ сочетания слов типа "river bank" получить координаты этого сочетания. Однако, я-то как раз не знаю какие слова и сочетания имеются в корпусе что я натренировал. Предложения тоже имеют координаты. Но как из bert вытащить все построенные им эмбеддинги?

Прогоняешь корпус текстов через BERT, получаешь для каждого слова множество контекстных эмбеддингов. Каждое такое множество кластеризуешь. Каждый полученный кластер - отдельное значение.

а как быть с "let me down"? это скипграмма по сути. мне нужно вытащить "let down" (чтобы потом вытащить е кординаты)?

Я хз.
Не будь этого "me", можно было бы склеить "let down" в один токен.
А если между частями устойчивого выражения может быть что угодно, то я вообще не уверен, что подход со словными эмбеддингами применим.
Возможно, можно залезть в атеншны BERT'а, заметить, что let и down сильно смотрят друг на друга, и на этом основании их "склеить" в какую-то цельную конструкцию. Но я сам так не делал и хорошего чужого опыта тоже не знаю.

"let me" и "me down" какие координаты по сути должны иметь? в идеале вообще никакие не должны иметь.