штатный маллок сам по себе не запросит терабайт, он запросит сколько программист заказал. и если прграммист предпочитает запросить терабайт, чтоб не заморачиваться - это и есть плохое программирование (и плохой программист)
Конкретно про код маллока - это частный вопрос разработки на C отношения к VM не имеющий. Да, его нужно проверять. Нет, в большинстве случаев ты все равно ничего кроме падения не сделаешь.
Любой маллок mmap'нет больше чем тв запросил. Во много раз. Просто чтобы на каждый следующий маллок не звать сисколл. Где-то отдельные арены на каждый поток, это ещё в разы больше. И нет, сэкономить код и сделать эффективно - это не плохое программирование. Ещё раз, цели работать в несуществующих системах без оверкоммита по кмолчанмю нет.