покажи свою сетку, хоть я в этой области и не силён.
у меня сходу предложение только увеличить число FC слоёв ближе к выходу.
ну и посмотреть внимательнее на метрику лосса.
Я разные сетки пробывал, но там что-то в духе cвертка, пуллинг, свертка, свертка пуллинг ... фулл-коннектекд в разныех вариациях.
Лосс MSE. что еще можно для такой задачи?