Это панель хостинга, а не веб сервер. Если хостинг, там скорее всего Apache будет. У апача интересная модель исполнения, он на каждый запрос спавнит процесс пыхи через CGI, если память не изменяет, что есть весьма дорогое удовольствие. Скорее всего у вас на хостинге одно ядро, так что запросы выполняются псевдопаралельно(скедулер ОС этим занимается), от этого и увеличение ТТФБ
если говорить о тюнинге перформанса пыхи, то вариаций масса, вот пара самых распространенных:
1) переехать на норм ВПС-ку
2) Поменять веб-сервер на нгинкс (или если заморачиваться, то можно Road Runner, но тогда код прийдется сильно менять(а если очень заморочиться можно написать на ReactPHP и получить подобие ноды))
3) апнуть версию ПХП, особенно если там пыха меньше 7-ой. При переходе с 5.6 на 7 перформанс возрастает почти в 2 раза