я бы посмотрел мануалы как параллелить обучение и инференс на гпу
и если используете готовые модели, они бывают разной эффективности и скорости, надо тогда сравнивать и выбирать
те думаешь что проблема в железе.. я просто обучал -то на куда-серваке.. а генерю на обычном пк/сервере...1080 gtx /i5 2,66 / i7 2018 serv//причем даж векторизацию заново не делаю и тд.. тупо гружу все что можно... возможно я как то не так данные в потоки передаю.. тензорфлоу тоже любит вредничать с ними...в итернете есть примере распаралеливание обучения а вот примеры с выводом результатов чето вообще нема