а почему тесты не отладка? если мы нашли невалидное поведение, добавили на него фейлящийся тест, а потом меняем функцию так, чтобы всё остальное не падало - это вполне себе отладка
билд-матрице примерно всё равно, сколько в ней будет конфигураций - почему бы не проверять ещё и всякое странное, вдруг оно в новом релизе компилятора в -O2 переползёт? :)