понятней не стало

Всё сложно -- смотря что Вы вкладываете в эту регрессию и что Ваши тестировщики вкладывают.

Продавцы сервисов периодически выкладывают презентацию "как компания такая сократила время на тестирование", и делают с визуальными включительно на фермах устройств, но это требует проплаты продавцам сервисов.

уже разобрался, спасибо.

имел ввиду просто как переключать переключатели на вебе через js

вебдрайвер+js

обычно регрессия это все главные функции проверить (смоук тесты это даже скорее) что при изменении базовых модулей ничего не сломалось, в ручную обычно с реальным беком тестируют, интересно возможно ли не тестировать систему целиком (полагаться на контракт тестировать только с каждой стороны на моках) и при этом сократить регресс

все можно .... и реальную систему тестировать и все тесты замоканны могут быть
просто тут уже от конкретного приложения / рисков зависит

Это кстати годная тема на весь четверг )

Тут зависит скока деняк готов клиент потратить, в первую очередь. так как это не быстро и не дешево

Завтра BDD

Надо подготовиться)

Всем привет! подскажите плз, есть ли возможность воспроизвести сценарий плавного увеличения юзеров, которые логинятся в системе, и что-то делают, аля jmeter? (стек pytest - python) Нашел приблизительное решение,  при помощи pytest-xdist, но беда в том, что тесты стартуют одновременно, а хотелось бы примерно того же эффекта как в jmeter, сначала стартует 2 потока, потом еще +2 и т.д

locust прикрутить к этому?

Написать свой раннер? Это не сложно

не слышал про такое, надо погуглить. В доке к xdist, есть такой момент, но пока что-то сложно вникнуть, да и понять в целом, это ли
Note that pytest_xdist_make_scheduler hook can be used to implement custom tests distribution logic.

а можно какую-нибудь ссылку вводную, посмотреть как это делается, и прикинуть, это ли мне нужно?

Ссылки нет. Если нет готовой либы, то можно просто программно вызвать последовательно команды запуска твоих тестов с определенным delay

WebDriver IO. Подскажите пожалуйста как переключить switchToFrame?
Пробую
browser.switchToFrame($('#screen_content'))
const Nxtbtn =  $('body')
$(Nxtbtn).isExisting()

ОТВЕТ:
0-0] 2020-10-22T14:46:09.183Z INFO devtools: COMMAND findElement("css selector", "#screen_content")
[0-0] 2020-10-22T14:46:09.186Z INFO devtools: RESULT { 'element-6066-11e4-a52e-4f735466cecf': 'ELEMENT-1' }
[0-0] 2020-10-22T14:46:09.192Z INFO devtools: COMMAND switchToFrame(<object>)
[0-0] 2020-10-22T14:46:09.194Z INFO devtools: RESULT null
[0-0] CONTEXT _------------[object Object]
[0-0] 2020-10-22T14:46:09.195Z INFO devtools: COMMAND findElement("css selector", "body")
[0-0] 2020-10-22T14:46:09.211Z INFO devtools: RESULT { 'element-6066-11e4-a52e-4f735466cecf': 'ELEMENT-2' }
[0-0] 2020-10-22T14:46:09.217Z INFO devtools: COMMAND takeScreenshot()
[0-0] 2020-10-22T14:46:09.483Z INFO devtools: RESULT iVBORw0KGgoAAAANSUhEUgAABKAAAAMsCAYAAABjjNqRAAAAAXNSR0IArs4c6...
[0-0] Error in "My Login application should login with valid credential

Нет такой ссылки и не будет. Лезть в пайтест в самые кишки LoadScheduling и DSession и смотреть как это можно сделать. И то я знаю от силы 2х человек кроме себя которые таким занимались. А если быть честным то имхо ты что то делаешь не так, не для того пайтест придумывали

Да я это понимаю) просто jmeter не подошёл потому что и тестировать нужно через netconf, поэтому приходится искать такие изощрения