Не факт, там же много системных уровней и многозвенных цепочек обеспечения. Где-нибудь на нижнем уровне или в обеспечении вполне может случиться. Даже так: если AGI современного человека плюс компьютера рассмотреть (киборг), то где-нибудь в цепочке обеспечения компьютерной части (необязательно в момент inference, цепочки обеспечения это ж про learning) обязательно найдётся градиентный спуск в алгоритмах, сегодня-то это общее место.
Ну, и нужно уточнять: речь идёт именно о вариантах градиентного спуска или вообще о методах оптимизации, которые очень разные бывают, но функционально их иногда и градиентным спуском называют (как Карпаты в его шутке про Software 2.0).
Ну, и надо ещё договориться, что тут AGI считать, на эту тему есть много мнений )))