если мы говорим о фичах, то можно по тегам разделять их на группы. если о юнит-тестах - можно по каталогам раскидать сами файлы. и запускать несколько экземпляров тестирования параллельно, каждый со своими настройками.
в любом случае, готового инструмента, чтобы ввести количество потоков и нажать "Выполнить" не существует