
Что значит "улучшило"? Пойдем от обратного. Если мы сделали новую фичу и видим, что ей пользуются - стал ли продукт лучше? Вообще не факт. Мы видим только то, что фичей пользуются. Если в коридоре поставить дверь, то ее будут открывать и закрывать 100% пользователей, но стал ли коридор от этого лучше - мы не знаем.
"Лучше" определяется только через влияние на показатели продукта в целом. 1го порядка - выручка / аудитория / вовлеченность. 2го порядка - приток клиентов, текучка клиентов, средний чек, время жизни пользователя, удовлетворенность и тп. Можно строить 3й и более дальние порядки - нужно только в любой момент понимать, как дальняя метрика влияет обратно на более первичные. Чем чаще ходят в магазин - тем больше выручка, хорошо.
Соответственно, для построения метрики нужна гипотеза - что именно изменится и как. Но изменения тоже есть разных порядков. Скажем, у нас продукт и так растет на 1000 пользователей в месяц. Если мы что-то сделали и получили +1000 пользователей за месяц - то мы что-то улучшили? Нет, потому что это продолжение старой динамики. Значит надо смотреть на производную (в математическом смысле) - на ускорение прироста.
То есть, нужно выбрать метрику продукта в целом (1), понять ее текущий тренд(2) и предположить изменение следующего порядка (3). Для констант - абсолютный прирост. Для растущих показателей - ускорение роста. И т.д.
Это разумеется, касается, только задач развития продукта. Если они не могут ничего изменить, то никакого развития не происходит. Может быть это был неверный шаг, а может быть уже нет и потенциала для развития - уперлись в стену, такое тоже бывает
В отношении "долгов" решается задача удержания - то есть предотвращения риска, что какая-то метрика вдруг ухудшится. Но измерить это наверное никак нельзя, кроме булевского "проблема случилась" или "не случилась"