Да тут в принципе нет ничего военного. Нужен клиент в зависимости от реализации, ибо условный socketio - не совместим с классикой.

В отличие от реста, тут нужно постоянно держать открытый конекшен с сервером. Ну а дальше, опять-таки, зависит от реализации, ибо с socketio есть много нюансов в плане неймспейсов, комнат, бродкастов и т.п. Но если обобщать, то все сводится к отправке сообщений и прослушиванию ответов.

Правильней будет для начала почитать возможности той или иной реализации, поиграться с каким-либо клиентом, и только потом уже садиться за написание тестов.

Ну и да, забыл упомянуть, если есть доступ к коду, то обычно бекенд фреймворки уже имеют встроенные инструменты тестирования.

При чем свежих статей по поводу выбора и сравнения я не нашел (самая молодая - 2018г.).. Может кто подсказать?

спасибо отличный совет, пошёл я к своим девам, буду их распрашивать))

напомните пожалуйста инструмент который помогает оценить покрытие API тестатми. помнится года 2-3 назад кто-то на конференции презентовал крутую штуку которая автоматически считает покрытие и даже анализирует разнообразие входных параметров

как вариант

Всем привет, кто-то работал с FlaNium и есть кому задать вопрос по нему?

Я юзал https://github.com/viclovsky/swagger-coverage. Правда пришлось его патчить для своих нужд.

Товарищи, кто знает как реализовать загрузку файла, которая начинается отложенно? Используется Котлин с Селенидом, стандартный метода селенида download() не ловит загрузку даже с большим таймаутом, сама загрузка файла реализована так, что после нажатия на ссылку пару секунд играет анимация во время формирования файла и только потом начинается загрузка.

Но это ж очень условное покрытие. Многое зависит от детализации спеки + характера тестов. Можно ж просто забросать эндпоинты мусором чисто, чтобы получить желаемую цифру кавереджа. Все будут довольны. Только толку от этого будет мало.

Так надо разобраться, почему старнартный метод не ловит. Ты какой `FileDownloadMode` пробовал?

да, но мне кажется что был инструмент который не только анализировал в какие эндпоинты стучатся тесты, но и используют ли они все значения.
Например если в параметрах API есть булевский флаг inlcudeTax, то этот инструмент будет учитывать есть ли тесты которые используют true и false в качестве параметров.

PROXY

Всем привет! Не подскажите, у меня есть несколько параметризированных тестов с помощью аннотации @Parameters Testng, данные вынесены в testng.xml файл. Локально все работает, а как можно настроить запуск этих тестов на Jenkins ? Стек Java+TestNg+Gradle+RestAssured

Ну все они умеют такое анализировать, если оно указано в спеке. Но не во всех языках можно красиво все сгенерировать. Более того, не все разработчики парятся над детализацией. Т.е. по факту на входе может быть спека с одними эндпоинтами и статусами. С другой стороны, даже наличие хорошей спеки не спасет от бездумного подхода. Данные matters. И частенько так случается, что люди просто подстраивают тесты под саму метрику. Т.е. цифра возросла - все, идем дальше. Но это касается не только апи тестов. Любые кавередж тулы можно обмануть по факту.

Спасибо. Не хочу раскручивать тему обхода статистики иначе холивар, хотелось пока найти хороший инстурмент который при честной работе команды автоматизаторов  будет показывать наиболее реалистичные цифры.

пока у меня лидер Cobertura/JaCoCo  :D

Авто расчёт цикломатической сложности. Можно натравить тулу исключительно на верхний уровень, грубо говоря Фасад Сервиса и получить количество EndPoint-ов и для каждого количество классов эквивалентности входных данных, добавляем граничные условия и получаем полный набор сетов входных данных, сравниваем с текущим состоянием и получаем процентовку. Как вариант..

локально таки работает, что то не так на удаленном сервере...

второй вопрос. Существуют ли успешные проекты на которых работают только Devs + DevOps + AQA без Manual QAs?
Есть ряд стэйкходеров которые считают что 100% автоматизация спасет проект и ручные тестировщики не нужны... Меня в целом интересует, есть ли вообще такие успешные проекты, где при этом автоматизаторы не страдают что им приходится половину времени вручную тестировать?