покрыть юнит тестами? сириусли?)

да.

Как работает? Сам организовывает порядок тестов? 🤔

Ну понятно, постфактум это сделать очень сложно. Будем реалистами. И покрывать юнит-тестами должны сами разработчики.

Ну сейчас так и есть, а тут увидел что последним в очереди стартует поток на 15 минут. И он один держит ран пока не закончится. Я вот только передвинул его пораньше и секономил немного времени

Я понимаю что надо писать юнит тесты, юай тесты медленные, джава топ и все такое. И в идеальном мире код вообще писать ненадо :)

Но я хотел просто какой то сортировщик сьютов, который бы я даже запускал вручную, а потом переименовывал файлы чтобы ранились в нужном порядкн

ну а как сортировщик должен узнать из файла как ему сортировать)

Между юнитами и юай могут быть интеграционные тесты. Они по скорости ближе к юнитам, но проверяют логику нескольких модулей. Я делал несколько немаленьких датасетов для таких задач.

Для (хорошего) разработчика не проблема соорудить код который будет гонять именно логику по данным, беря эти данные из каких-то файлов (csv, xml, json). Это "о-маленькое" от его собственного кода.

Емнип,
~165 проверок прогонялись секунд за 40-45,
~360 минуты за две.

Стабильность была 100% (в отличие от UI проверок на Аппиуме), фидбек разработчикам скорейший и наглядный.

Если такого даже не начинать делать, будут прогоны UI-проверок на несколько часов, и хорошо если они будут стабильны.

Это все понятно, что лучше быть богатым и здоровым чем бедным и больным и чтобы пирамида была правильной

maven surefire plugin работает по тому же принципу, что ты описал ниже. Самое оптимальное - не пытаться оптимизировать, ведь как только несколько потоков застрянут на "долгих" тестах, оставшийся свободный возьмет и выполнит все остальные. Если тест выходит за пределы 2-3 минут - то тут нечего думать - надо оптимизировать тест. А после оптимизации, выигрыш в 3 минуты сильно критичен?

Можно логировать начало и конец тех или иных проверок или групп.

А я думал скормлю какому то скрипту имя файла : время рана файла, и он мне просто в stdout выдаст в каком порядке выложить файлы, а дальше я сам руками :)

мне кажется, сколько вы это не обсуждайте, вам все равно покажется лучшей идеей написать самому скрипт. скормили ему файл с временем тестов - он вам выдал последовательность распределения, что-то такое

Это можно будет посчитать в деньгах: если разработчику надо ждать фидбека от UI-проверок, если UI-проверки гоняют мощное дорогое арендуемое окружение, если тестирующим надо тратить кучу времени на разбор упавших UI-тестов.

"Богатыми" могут оказаться люди которые не хотят потратить время на быстрые проверки логики, но потом хотят его тратить на разгребание вышеперечисленного.

ну или да, Роман правильно говорит о цене тестирования

Та я уже понял :)

Тут немного другая ситуация. Юнитов уже много, апи уже несколько тысяч, это именно критичные юай проверки на покупку и поиск, которые уже никуда не двинуть

Кароче есть ли готовый алгоритм или нет вы скажите? :)

у меня лично вся покупка и поиск в API тестах, потому что критичные статусы биллинга уже оттуда видны, но если прям необходимы UI тесты для этого, то наверное вы в исключительной ситуации