Идея какого-то единого набора тестов, которые можно прикладывать ко всем новым проектам (у нас платформа, у нас проекты в принципе идентичны, все дела) разумна, но только если все новые проекты на платформе поставляются as is, без тюнинга.
У меня был фэйл в таких условиях: вроде тесты показывают, что багов нет, а на деле багов выше крыши, заказчик злой, программисты злы, бухгалтерия зла, империя зла, а дурак — тестировщик, бо исходные данные были неверны ("Да там разница мелкая, только в юай, не парься!").
Да, все магазины на платформе в принципе похожи, как все люди друг на друга похожи. Но предлагать всем одни и те же ботинки — ой, будет бэмц…
С тестами та же проблема.
Вероятное решение - переиспользовать тесты, максимально лишенные детализации. Некоторые называют это чек-листами, но суть одна и та же, от тестов остаются только заголовки, и подразумевается, что тестировщик будет в состоянии понимать/знать, что надо делать. В теории, опять же, звучит просто, в реалии это сложно, но уж лучше 20% фэйла на 80% успешности, чем "все, сука, злые" на 100%.