Не подойдет https://www.sitespeed.io ?

Эх, что же с нами стало, js захватывает мир

Свистоперделки, свистоперделки everywhere

я так понял у вас есть сайт и докер с этой штукой, вы скормили ему этот сайт, она сделала репорт. то есть какие-то особенные собственные метрики вы определить не можете, ну например как быстро юзер может между вкладками на странице переключаться. У меня вообще puppeteer и я могу запустить сайт через него в хроме и даже метрики замерить,
тут вопрос именно в том ЧТО мерить если у тебя какая-то реакт апликуха на странице, потому что если ты померяешь время загрузки страницы например то это ничего не скажет о том как там все работает

А ты собираешься на скольки конфигурациях клиентского софта/оборудования мерить?

жс фактически да, работает везде, и желательно чтобы это работало хорошо, раз уж им пользуются.

я  собираюсь мерить в хроме пока только. ну там тоже проблемы со всем, потому что меряешь JSMemoryHeapSize он от запуска к запуску меняется, в зависимости от того как движку жс захочется, то есть точных чисел нет, только тенденция какая-то, типа память растет. Вот для утечек я не память замерял а количество существующих объектов на странице подсчитывал, потому что это хоть какое-то точное число

есть вариант конечно в коде наставить везде разных

performance.mark("start update");
performance.mark("finish update");
и потом perforance.measure("start update", "finish update");

Но интересно можно ли замерить независимо от кода.

и вот эти штуки я меряю, но там тоже только список тасков и дюрейшн получается выгружать :
https://w3c.github.io/longtasks/

На недавней конференции Гейзенбаг разработчик

https://pptr.dev/

Рассказывал, как с его помощью автоматизировать тесты и профилирование

Вот тут рассказ на английском. Про профилирование рассказывает коллега Андрея

спасибо, щас посмотрю

Там есть сценарии, где можно указать путь по странице.
По мониторингу памяти точто не скажу, но у них в графане есть метрики по CPU https://dashboard.sitespeed.io/d/000000060/leaderboard?orgId=1

да полезная штука, там из puppeteer можно записывать trace-файлы, и потом их в девтулз хромовский загружать и смотреть, но так конечно не интересно, потому что вручную анализ все равно или может кто-то обрабатывал их?,
лайтхаус из папетира запускается програмно и репорт делает html/json, но только для логина и все( А те метрики которые дает папетир через page.metrics они общие очень, сами по себе мало говорят, вот я ищу более точные способы измерить как перфоманс изменяется, чтобы по метрике сразу более менее ясно было как дела идут

ага, спасибо интересно очень!

Я с таким тестированием никогда не сталкивался, но для меня такое профилирование выглядит как средство диагностики, а не тестирования. Почему бы просто не смотреть время выполнения сценариев на селениуме?

puppeteer это как селениум но у вас еще есть доступ к chrome devtools protocol, удобно. Ну если если у вас приложение коммерческое и перед каждым релизом вы должны знать, оно работает допустимых пределах или разработчики сделали какую-то фигню, и допустим объем памяти потребляемой не выше 500 МБ и все такое. Так вы просто на графану глянете и все, а если вручную то это должен отдельный человек перед каждым релизом мерять, и репорт писать.

а то что сценарий выполнился за 10 секунд может значить что 9 секунд из них браузер висел для пользователя, то есть просто замерить время недостаточно чтобы полная картина была

Он же рассказывает, что берет нужные метрики из трейса и публикует их в time series хранилище

Чтобы графики нужные смотреть