Открыл для себя нечто приятное, что не попадалось раньше на глаза совсем. У гугла есть такой класс как SupportErrorDialogFragment. Он задействован в частности в механизме отображения ошибок при проверке наличия GoogleApi через тот же makeGooglePlayServicesAvailable или ручную его сборку с GoogleApiAvailability#getErrorDialog. Ситуация такая, что этот диалог является враппером обычного AlertDialog, и последний подается в поле SupportErrorDialogFragment после создания экземпляра. Как результат, если фреймворк гугла показывает вам этот диалог (например "на устройстве нет сервисов"), поверните экран не закрывая диалог. Вас встретит краш приложения с распростертыми объятиями