GPU - это вообще не процессор общего назначения. все, что он умеет - это быстро считать трехмерные координаты множества точек. и эту его способность применяют для других математических расчетов, если сумеют
ну не совсем. Современные Nvidia Turing/Ampere так-же содержат RT-cores для ускорения трассировки лучей и Tensor-cores для ускорения нейронок.
GPU это не классические процессоры, это ускорители.