а эти mmap итд это команды, но изнутри они что из себя представляют?
Это системный вызов, он внутри ядра реализован. Там приблизительно такой же алгоритм — есть таблица виртуальных страниц памяти, ядро там выделяет новую страницу, которую никуда не мапит. Когда процесс пытается обратиться к этой странице, то возникает page fault, специальное прерывание, ядро его обрабатывает и выделяет процессу уже реальную память (это если включен оверкоммит)