ребята, привет
нужно мнение экспертов )
есть у меня мониторинговые тесты - ранятся на проде с определенной периодичностью (например, 5 минут) и проверяют работоспособность продукта
вопрос касательно инфрастуктуры тестов – обязательно ли, чтобы джоба (с тестами) завершалась с ошибкой, когда падает тест?
приведу несколько аргументов от себя
- конечно, в стандартном CI/CD процессе упавшая джоба и стоп пайплайна - это маст хев. но в данном случае (помним, что тесты мониторинговые) стоп пайплайна нам не нужен, нам нужно только оповещение что именно упало
- назревает вывод, что раз мы должны знать, что есть падение, то и джобу нужно завершать с еррором. но можно же ошибку слать руками в момент завершения всех тестов но еще, так сказать, не выходя из контейнера. а сам контейнер завершать успешно, тестовый прогон ведь был выполнен, хоть и тест упал
- возможно, у вас назреет еще один вопрос - почему я задаюсь этим вопросом, не пусть себе завершается джоба с эррором, ведь в ней упавший тест. но! как тогда нам различать падение джобы произошло из-за ошибок ифнрастуктуры (не поднялся контейнер, не хватило памяти и т.д.) или упал тест? ну.. можно через еррор коды, но имхо, это геморно. или нет?
- скорее, в CI/CD системах (Jenkins, Gitlab, Github) упавшие джобы хендлить удобно и легко настроить алерты. но мои ранятся в GCP. и здесь падение джобы рассматривается как что-то аномальное и это вызывает некие проблемы с конфигурацией алертов. (например, мы будем получать алерт, пока не удалим упавшую джобу, даже если после нее уже была успешная)
поделитесь вашим опытом. буду рад комментариям 💪
