Если на это глянуть с другой стороны и капать в сторону докера. Как может закончится память когда по сути делаются mvn test грубо говоря?
Легко. У тебя заканчивается память в системе же, не где-то там далеко, и oom killer начинает лихорадочно бегать по системе, ища толстые процессы.