есть много способов ускорить со стороны клиента. запретиь gzip, заюзать
1.1.1.1, включить http/2, не закрывать коннекшен для последующих соединений и тп.
и убедиться что тормозит не ваш клиент, а сервер)
погонять код трейсером-профайлером все равно придется, и конкретно увидеть "где тупит".
на чем это все написано?