Тут кто-то пытался восстановить понимание языка через восстановление синтаксических структур в тексте, но я предостерегаю: семантика, судя по всему, очень важна в восстановлении содержания предложений, и она вклинивается в порождающую структуру (легче всего вспомнить как раз-таки aspect и подобное). А это сложно и неподъёмно даже для специалиста. Одну простую фразу можно описывать очень долго. Конечно же, это никак не автоматизируемо.

Так что синтаксические штуки — они, конечно, полезны, но они сейчас могут работать скорее как препроцессинг.

окей, можно и GPT-2 при условии что будет понимать и отвечать на руском и английском

Ну, в spacy поэтому предсказывается супертэг, кортеж из (POS_TAG, DEP_TAG, NER_LABEL)
И во всех эмбеддингах это же представление внутри и хранится. Тот же BERT и USE совмещают внутри синтаксис и семантику, а дальше строй на выходе голову и делай что надо.

что такое NER_LABEL?

Я сомневаюсь, что spacy умеет в семантику, извините )

Дистрибутивная семантика не семантика.

Привет, а работал кто-то с арабским?

Дистрибутивная семантика, плюс синтаксический парсинг, плюс NER - достаточно, чтобы восстановить семантику на уровне, необходимом для кучи практических задач)

Но это не семантика.

Верно

И нет, для многих очень важных задач дистрибутивная семантика недостаточна, но мы не умеем работать с семантикой, так как это пока что слишком сложно.

ну, про "не семантика" -- это спорно.
Это некое семантическое представление, в любом случае. Возможно, это "неполная семантика", но это, в любом случае, семантика, а не что-то еще, по крайней мере в некоторых моделях

Ну это скорее указывает на свойства взаимного употребления слов, а вообще математическая формулировка даже этого не содержит

В любом случае по классификации это про экстернализации языка, т.е. про речь, и не очевидно, что это имеет отношение к семантике. Это может указывать в отдельный момент, что смысл фраз или термов действительно как-то семантически связан, но это может значить и просто то, что их часто употребляют вместе.

Я не отрицаю важности дистрибутивной семантики, но классически под семантикой имеют несколько иные вещи, и это скорее такой омоним.

ну с одной стороны да, но с другой стороны были же даже исследования, показывающие, что размерности w2v, в общем, понятно, за что отвечают. То есть они не совсем случайные, как минимум часть из них, а семантические

И тот факт, что мы можем получить синонимы/антонимы -- это тоже указатель на то, что дистрибутивные модели ловят семантические свойства.

Да, я не спорю, что она частичная и неполная, но она все-таки что-то "знает" про семантику. Имхо, утверждать, что это вообще не семантика -- слишком сильно -- скажем, словарь НОСС под редакцией Апресяна много чего пишет именно про сочетаемостные свойства слов, в том числе выделенные автоматически.

Ну, классически много где другие вещи имеются в виду :), но да, у семантики с этим и вправду больше всего проблем. Что логично -- тут больше всего проблем с формализацией

Да, ловят, как и вещи по типу "женщина — принцесса", но дистрибутивная семантика не различает эти случаи, во-первых, друг с другом, а во-вторых, просто с совместным употреблением.

Можно сказать, она для этого недостаточно проработана, выразительна или любой другой property

Ну и в целом это даже в смысле вылавивания синонимов, антонимов и явно как-то связаннных семантически слов всё равно семантика скорее как нечто достаточно стороннее и косвенное, если действительно пользоваться классическим определением семантики. Т.е. даже если дистрибутивная семантика научится (и сделает это хорошо) различать между собой все эти вещи, и далее мы будем выкидывать прагматические элементы, оставляя семантические, то это семантические элементы всё равно омонимичны классическому определению. Эти семантические элементы являются внешним свидетельством каких-то семантических процессов, но давайте вспомним то самое классическое определение:

"Семантика — это дисциплина, изучающая то, каким образом соотносятся термы и формулы в языке с областью индивидных значений",

— и здесь мы не увидим, как данные свидетельства говорят о том, как языковые объекты соотносятся с индивидами. Мы увидим, как устроена синонимия относительно таких-то её проявлений и относительно такого-то датасета. Но не узнаем, почему эта синонимия происходит и каким образом две тех же лексемы имеют схожий meaning. Какая есть структура, которая обеспечивает, что относительно данных лексем возникает некоторая степень взаимозаменяемости при работе с исходным набором индивидов (объектов).