ну ок, не маллок, а кто там под ним у системы через сисколл память просит - sbrk, mmap или кто. неважно, как зовется. основная моя мысль - любой из аллокаторов, который просит память у системы, может вернуть ENOMEM, а все настолько развращены оверкоммитом, что никогда этого не ожидают