Я полагаю, что люди заметили, что именно такое определение объекта наделяет его кучей интересных свойств, а любые попытки обобщить приводят к потере части свойств.
Например, потеряется мультипликативность: произведение строки на столбец —константа, ее определитель и есть та самая константа. Произведение столбца на строку—квадратная матрица с почти наверняка другим определителем.