Твои нейросети лишь жалкая эмуляция реальных нейронов. Математическая модель, которой необходимо обучаться миллионы человекожизней прежде чем выдавать хоть сколь угодно правдивый результат.
постакали чуть-чуть декодеров - получили хорошую LM. постакали очень много декодеров - получили великолепную LM с 1-shot learning и качеством ответы на вопросы близким к человечьему