Singular
Почему если запустить MediaPlayer в Activity, затем закрыть приложение то плеер все равно играет
Потому что он не привязан к activity, проверяй в OnDestroy что если плеер играет то обнуляй его, на пример так:
if (mediaPlayer != null) {
mediaPlayer.pause();
mediaPlayer.release();
}