1. привести кодовую базу продукта в вид, когда бизнес логика будет бита на файлы, представляющие отдельные тестируемые сущности. (также, можно при особом упорстве выдирать название функций\классов, которые изменялись.
2. завести команду в ci\cd с запуском самописного парсера, который соберет количество тэгов, обозначающих конкретные категории тест-сьютов. Например, наличие handlebars файла в коммите может намекать на необходимость UI автотестов. То есть собирается тэг "ui".
3. запустить тестраннер на группы тестов, которые протеганы в соответствии с их зонами ответственности.
т.е. в итоге последний шаг это например
pytest -k auction and billing -m api and ui
Как-то так. Связи кода и юнит теста самые плотные, они легко запускаются любыми современными процесс-менеджерами, если пишутся как нужно из коробки. А вот интеграционные и UI — придется потратить время, чтобы логические связи привести в порядок