автор этой статьи неправ, кстати.
он утверждает, что нейросети не смогут хранить достаточно много информации для NLP, что, в общем-то, отчасти правда.
но ведь word2vec это и есть по сути нейроны-база-данных — в ней не все нейроны работают одновременно, а только те, что связаны с конкретным словом. это вполне позволяет хранить несколько сотен бит информации для каждого слова (vs 10 мегабит для всей сети на одном слое, что есть 20 бит на слово при 500к слов).
нужно ли больше для синтаксически-семантического анализа? для машинного перевода, где семантический анализ ограничен, я считаю, что и не нужно — просядет только перевод редких фразеологизмов.
а для более чёткого понимания — да, может не хватить, но это общая проблема вычислительной мощности, я не вижу альтернативную классическую систему, которая бы справлялась лучше.