ничего не выкидывал никогда, раз в году и палка стреляет, и старый тест чего то находит :) Исключаются только тесты по убираемому функционалу.
Время - 5 мин, из них последний отрезок в полторы минуты де факто ждало результаты примерно 30 тестов которые идут ~5 мин. Всего тестов на тот момент было примерно 10 тыс. Большая часть генерировалась автоматически из правил и описаний флоу. Единственный нюанс был - тесты генерировали приличный лоад, но поскольку прилага и была хайлоад - заодно меряли перф.
На втором проекте поменьше тестов было, но там они и попроще, без всяких 5минутных ожиданий. Там регресс пару мин был, соотв гнался вместе с юнит тестами
Для МЛ - обработка результатов одним питон процессов (с использованием нампи и тп, которые под капотом умет кой чего паралелить) может занимать часы, если там всякие привычные для тестировщиков прямые переборы комбинаций в лоб, или циклы в циклах.