А сейчас достаточно любой скрипт записать по типу просто зайди на сайт и выйди и запустить его после чего такая реакция происходит

Так вы тест поменяли или сервер?

Совсем не уходит помогает только перезагрузка

А при ручной проверке отвечает? Логи смотрели?

Уточню тестов несколько до определенного момента веб сервер не давал такой реакции

Отвечает, но ответы на запросы отдает очень долго

Короче, не меняйте две вещи сразу, верните старый тест

А нагрузка точно снимается, кстати? По access логу проверяли?

По нему не проверял, судил по графане и загрузке серверов приложений

И прочим метрикам

Вообще я бы сделал так:
1) сравнил rps когда было нормально и сейчас, если стало сильно больше - вот отсюда и копать - вероятно копится большая очередь
2) сделал минимальный воспроизводящий тест, лучше из одного простого запроса
3) если удалось воспроизвести залипание на 100%проца без накопленной очереди - идти смотреть что залипло дампом тредов/профайлером/ещё как-нибудь

И тут бывает что происходит плавный рост графиков показателей стенда при 100 % загрузке веб сервера, а бывает что веб сервер загружается на 100% и все остальные сервера перестают чувствовать нагрузку, а время ответа на запросы становится огромным

Спасибо за совет!

Привет!

Стреляю фантомом из танка, попросил 200 QPS.
Вижу в netstat: 5 сокетов established и 1 time_wait. Кажется, через них весь трафик.

Стреляю jmeter'ом из его GUI, попросил 7 клиентов.
Вижу в netstat: 7 сокетов established, каждый раз пересоздаются. Кажется, на каждый запрос - новый коннект со всеми хэндшейками.

Вопросы:
1) Почему фантом использует одни и те же сокеты а jmeter нет (ни одного ни другого я не просил keep-alive) ?
2) Как попросить фантом устанавливать соединение при каждом запросе и делать tcp и tls хендшейк?

Хм. Добавил заголовок Connection: close, подсмотрел в то, что шлёт jmeter и нашёл ответы на свои вопросы : )

Но есть новый вопрос.
Кликнул галку Use KeepAlive в jmeter, появился заголовок Connection: keep-alive в запросах. Значительно подрос QPS. Что ожидаемо.

Однако netstat мне всё равно показывает, что сокеты пересоздаются.
Смотрю так: watch -d 'netstat -tn | grep -F 1.1.1.1'

Почему даже при keep-alive сокеты пересоздаются?

Как минимум это keep-alive для http, а не для tcp

Да, конечно, http.
HTTP keep-alive, насколько понимаю, помогает договориться клиенту и серверу, чтобы они крепко держали tcp соединение и не отпускали после завершения запроса, чтобы для последующих запросов не тратить ресурсы на установление нового соединения. А это дорого, особенно в случае TLS.

TCP keep-alive - это сообщение, которое периодически шлётся, чтобы проверить целостность соединения и поддержать его в живом состоянии ибо таймауты.

Кажется, сервер тоже должен ответить мне Connection: keep-alive , а я этого не вижу. Наверное, в этом причина постоянного пересоздания сокетов.

Хотя, почему-то QPS заметно подрос.

Могу объяснить это теорией: сервер, будучи балансером, установил подключение к бекенду воспользовавшись моим заголовком Connection: keep-alive, а обратно не пробросил такой же заголовок от приложения. В итоге клиент страдает и балансер немного тоже.