Вот этот момент путает. Если вы и так понимаете что займёт неделю разве это получается не оценка по времени? Как не взять слишком много. Просто опыт?
Вы правы, в том что сложность и время связаны. Зачем мы вообще оцениваем в стори поинтах, а не днях/часах? (Я кстати, оценку в днях считаю абсолютно нормальным явлением). Потому, что бытует мнение, что оценить сложность можно гораздо быстрее. И сложность - это константа, а время на выполнение зависит от исполнителя. Сложность оценивается всей командой, и не меняется, в отличие времени на исполнение. В итоге мы понимает сколько в среднем поставляет команда, стори поинтов, сторей, попугаев. И мы знаем что это происходят за итерацию. Например, две недели. И если нам надо быстро прикинуть стоимость фичи - мы садимся, быстро накидываем высокуровневые стори, оцениваем их сложность, суммируем и делим на производительность. Вот здесь появляется время.
В чем вы правы, так это в том, что нам не нужны никакие системы оценок, чтобы понять, что мы успеем или не успеем сделать за неделю/две. Но если надо ответить про долгосрочную перспективу - вот здесь нам все вышесказанное и пригодится.