Я кстати помню ловил прикольную ошибку
На приложеньке были сокеты.
И тест проверял что если какой то другой пользователь создает какую то сущность, то текущий пользователь увидит эти изменения.
Тест - открывал приложеньку под одним пользователем, и в этот момент по апи делал запрос на модификацию данных под другим пользователем.
И главное все вроде хорошо и руками замечательно отрабатывает, но на автотесте с завидной регулярностью тест не отрабатывал.
Выяснилось что сокету нужно какое то очень небольшое, но человеческое время (в духе 1 секунда) что бы подключиться и начать принимать пуши от сервака.
И так как автотест работает очень быстро - он успевал отправить запрос до того как приложение подрубалось к сокетам.
Типа как раз в тот момент когда пользователь зашел - кто то другой что то сделал.
Решалось это как раз вейтером который крутился сигнализируя пользователю что он еще не принимает инфу от сервака. Крутился он мало, но он необходим.
В этой истории замечательно то что руками вряд ли бы кто то поймал. Но реальный пользователь наверняка бы словил.