Просто если у вас нету оверкомита, то ярн свои джобы будет держать в указанных пределах
Дальше 2 варианта
1. Если без cgroups то просто процесс убивается(но он трекает по таймеру, в пике можно и больше сожрать, главное не попасться и успеть вернуть)
2. Если с cgroups то как раз будет невозможность алоцировать память (ядро не даст процессу больше чем на него лимиты стоят)
Когда вы говорите про оверкоммит, имеется ввиду spark.executor.memoryOverhead?
Я как-то не сталкивался с оверкоммитом памяти в ярне, только с vcores.