емнип у тпу размер дробных чисел меньше и они менее точны в этом плане
я тонкостей не знаю, не числодробильщик, но знаю что куда суппортит как ТПУ так и ГПУ. Я не испытываю особого интереса в нынешних нейросетях, поэтому скучно все эти тонкости копать )