Тогда хз, интернатуры или если  напрячься и на джуна.

Нужна "штука", которая может показать распределение занятой питоном памяти по страницам. Хочется визуально увидеть подтверждение догадки, что большое потребление памяти - это результат фрагментации памяти. Обычные профилировщики памяти обычно показывать просто список разных типов объектов с их количеством и размером. Это не подходит, т.к. в сумме оно всё показывает в разы (и даже в десятки) меньше занятой памяти, чем есть на самом деле.
Кто-нибудь видел такое?

Вторая хотелка - приложение, которое:
- может запускать другой процесс,
- прозрачно проксировать в него запросы (HTTP),
- следить за потребление памяти процессом,
- в случае превышения порога занимаемой памяти должно запустить вторую копию процесса и все новые запросы отправлять в него,
- убить старый процесс после того как он завершит обработку всех своих запросов.

Есть такое или у меня идея для "стартапа"?

systemd случайно не умеет такое? 😊

uwsgi не подходит, у меня приложение на aiohttp

я бы тоже на такое посмотрел 😍

Знаю что "поднять новую копию - перевести запросы - убить старую копию" умеют всякие большие оркестраторы контейнеров при выкатке обновлений. Но для меня это какой-то оверхед.

Из очень отдаленно похожего gunicorn + крутилка --max-requests.

В нем есть socket activation, возможно с помощью нее можно что-то такое сделать

Uvicorn тоже умеет убивать после определенного количества запросов

как понимаю- это просто запуск чего либо при обращении к сокету- мне кажется все таки это не то

Можно докером обойтись, в один контейнер балансер засунуть, в другой - скрипт или бинарь, который будет триггерить другие контейнеры и следить за ними. Несложно напилить, если не найдется готового решения

А как сказать балансеру, что он должен новые запросы слать в новый контейнер, но не обрывать имеющиеся запросы к старому? И потом ещё как-то определить, что все запросы к старому закончились, что бы удалить его?

Видимо надо балансер с API, и какой-то не очень банальный скрипт, который будет через API балансера всё это делать

Хотелось бы найти такой готовый скрипт

envoy например

Для этого есть всякие healthcheck или readiness check (из Кубернетеса). У нас такое напилено на haproxy там, где нет Кубернетеса

haproxy можно научить проверять объём памяти занимаемой процессом в другом контейнере?

Или надо что бы сам процесс фейлил хелф-чек запрос, если занимает много памяти?

Haproxy поддерживает луа скрипты, можно научить