Size: a a a

2018 October 30

S

Sergei in QA Сибирь
Это требует внедрения этих костылей. Плюс надо собственный поиск тюнить, короче в продукт протекает немножко логика тестов
источник

S

Sergei in QA Сибирь
ну такое)
источник

S

Sergei in QA Сибирь
а если начинаются вилки то рано или поздно тесты пойдут по одному пути, а пользователи по другому
источник

VR

Vitaliy Roshchupkin in QA Сибирь
VVM
Ну такое:

Конечно же, все персонажи и числа в статье были творчески переосмыслены из соображений безопасности, но фантазировали мы не слишком бурно и сохранили соотношения полученных по эксперименту данных.
мопед не мой :)
источник

VR

Vitaliy Roshchupkin in QA Сибирь
Sergei
я в нашем проекте думаю часть автотестов перевести на мониторинг и гонять часть автотестов на проде. Как у Мартина где-то была статья на тему
А для чего? Какие-то особые тесты, которые не получится сделать на стейджинге?
источник

VR

Vitaliy Roshchupkin in QA Сибирь
Я не пытаюсь отговорить. Мне интересно, какими могут быть такие проверки.
источник

V

VVM in QA Сибирь
Vitaliy Roshchupkin
Я не пытаюсь отговорить. Мне интересно, какими могут быть такие проверки.
+
источник

S

Sergei in QA Сибирь
Vitaliy Roshchupkin
А для чего? Какие-то особые тесты, которые не получится сделать на стейджинге?
1) Снимать метрики с прохождения тестов, чтобы отлавливать регрессии на проде
2) Алертинг и ночные побудки команды по провалам в тестах 🙂
источник

S

Sergei in QA Сибирь
короче, узнавать о проблемах раньше чем нам репортят их пользователи
источник

VR

Vitaliy Roshchupkin in QA Сибирь
Sergei
1) Снимать метрики с прохождения тестов, чтобы отлавливать регрессии на проде
2) Алертинг и ночные побудки команды по провалам в тестах 🙂
У вас не круглосуточная нагрузка?
источник

VR

Vitaliy Roshchupkin in QA Сибирь
Просто кажется, что алертов должно быть достаточно, тесты-то зачем.
источник

S

Sergei in QA Сибирь
круглосуточная, но очень сегментирована. Самый капец когда китай выходит на работу 🙂
источник

S

Sergei in QA Сибирь
Vitaliy Roshchupkin
Просто кажется, что алертов должно быть достаточно, тесты-то зачем.
тесты являются тем самым чеком который пораждает алерт
источник

S

Sergei in QA Сибирь
плюс статистика набивается
источник

VR

Vitaliy Roshchupkin in QA Сибирь
А не будет достаточно разложить метрики и алерты везде, где нужно? Или нужно реагировать раньше, чем пользователи найдут?
источник

S

Sergei in QA Сибирь
Если мы так сделаем, то по факту перенесем логику тестов в продукт. У нас есть автотесты которые могут это сделать сейчас. При этом в сам продукт мы не лезем. То есть в продукте конечно же есть разные хелсчеки в критических местах, но живой сценарий они не заменят для отлова проблем.
источник

S

Sergei in QA Сибирь
> Или нужно реагировать раньше, чем пользователи найдут?
Мы к такому требованию готовимся
источник

S

Sergei in QA Сибирь
сейчас бизнес не требует от нас такого, но в целом есть понимание, что мы хотим шарить наработки QA в эксплуатации
источник

VR

Vitaliy Roshchupkin in QA Сибирь
А что проверять в проде хочется? Функциональные/нефункциональные штуки?
источник

S

Sergei in QA Сибирь
Тестами? Основные пользовательские сценарии.
источник