Size: a a a

QA — Автоматизация

2020 January 12

B

Bola in QA — Автоматизация
Evgenii B
Soft assert может быть приятно использовать когда ты в цикле хочешь гомогенные данные проверять
приятно использовать при множествах проверках и без цикла
когда у тебя в одном тесте проверяются >1 утверждения
источник

СС

Сказочный Сникерс in QA — Автоматизация
то есть я поясню. два абстрактных варианта:

1 тест и 10 проверок внутри

1. подготовка данных 1 секунда. каждая проверка 1 секунда. если мы запускаем в 1 поток, то получается мы тратим 1 секунду на подготовку и 10 на проверки. итого 11 секунд. если мы запускаем в 10 потоков, то мы тратим в каждом потоке 1 секунда на подготовку и по секунде на тест, итого 2-3 секунды. тратим ресурсы, но получаем в 4-6 раз ускорение тестов

2. подготовка данных 20 секунд. каждая проверка 1 секунда. если запускаем в 1 поток, то получается мы тратим 20 секунд на подготовку и 10 секунд на тысты, итого 30 секунд. если запускаем в 10 потоков то мы тратим в каждом потоке 20 секунд на подготовку и по секунде на тест, итого 21 секунда. тратим ресурсы но выгода всего в 1.5 раза. стоит задуматься а стоит ли, когда в этот момент могли бежать другие тесты
источник

B

Bola in QA — Автоматизация
Сказочный Сникерс
то есть я поясню. два абстрактных варианта:

1 тест и 10 проверок внутри

1. подготовка данных 1 секунда. каждая проверка 1 секунда. если мы запускаем в 1 поток, то получается мы тратим 1 секунду на подготовку и 10 на проверки. итого 11 секунд. если мы запускаем в 10 потоков, то мы тратим в каждом потоке 1 секунда на подготовку и по секунде на тест, итого 2-3 секунды. тратим ресурсы, но получаем в 4-6 раз ускорение тестов

2. подготовка данных 20 секунд. каждая проверка 1 секунда. если запускаем в 1 поток, то получается мы тратим 20 секунд на подготовку и 10 секунд на тысты, итого 30 секунд. если запускаем в 10 потоков то мы тратим в каждом потоке 20 секунд на подготовку и по секунде на тест, итого 21 секунда. тратим ресурсы но выгода всего в 1.5 раза. стоит задуматься а стоит ли, когда в этот момент могли бежать другие тесты
это на ui тесты не похоже. вы про юниты?
источник

СС

Сказочный Сникерс in QA — Автоматизация
Bola
это на ui тесты не похоже. вы про юниты?
я абстрактно
источник

EB

Evgenii B in QA — Автоматизация
Bola
приятно использовать при множествах проверках и без цикла
когда у тебя в одном тесте проверяются >1 утверждения
Например

assert 200
assert “success” in text_response

?
источник

СС

Сказочный Сникерс in QA — Автоматизация
Bola
это на ui тесты не похоже. вы про юниты?
если это UI и на каждый тест создается новый инстанс браузера то изначально дробить тесты на максимально мелкие не выгодно
источник

B

Bola in QA — Автоматизация
Evgenii B
Например

assert 200
assert “success” in text_response

?
типа того. Чтобы проверились и другие утверждения. Раз уж мы запустили тест, пусть не падает на первой же ошибке.
источник

EB

Evgenii B in QA — Автоматизация
Я в таких случаях failfast падения бы делал, т.к оба исхода берутся из
Одного объекта
источник

EB

Evgenii B in QA — Автоматизация
Если же ты проверяешь N урлов, то это другой разговор
источник

B

Bola in QA — Автоматизация
Evgenii B
Я в таких случаях failfast падения бы делал, т.к оба исхода берутся из
Одного объекта
для ui это важно, потому что раз ты открыл страницу - а это дорогой по ресурсам процесс, то лучше сразу сделать несколько проверок
зависит и от фреймворка, конечно. где-то можно каждую проверку засунуть в отдельный тест, а в before открыть условно страницу и эти тесты их проверят, но не везде такое возможно
проще наклепать в одном тесте кучу проверок и только в конце зафейлить, показав. какие именно утверждения ложны
источник

СС

Сказочный Сникерс in QA — Автоматизация
Bola
для ui это важно, потому что раз ты открыл страницу - а это дорогой по ресурсам процесс, то лучше сразу сделать несколько проверок
зависит и от фреймворка, конечно. где-то можно каждую проверку засунуть в отдельный тест, а в before открыть условно страницу и эти тесты их проверят, но не везде такое возможно
проще наклепать в одном тесте кучу проверок и только в конце зафейлить, показав. какие именно утверждения ложны
еще зависит от ресурсов, если их много то че бы нет
источник

B

Bola in QA — Автоматизация
их всегда мало
источник

СС

Сказочный Сникерс in QA — Автоматизация
в общем много факторов все это пробуется и рассчитывается
источник

СС

Сказочный Сникерс in QA — Автоматизация
Bola
их всегда мало
ну у кого как)
источник

B

Bola in QA — Автоматизация
не помню, чтобы где-то куа кричал - хватит, хватит столько ресурсов ))
источник

СС

Сказочный Сникерс in QA — Автоматизация
Bola
не помню, чтобы где-то куа кричал - хватит, хватит столько ресурсов ))
тогда я первый)
источник

B

Bola in QA — Автоматизация
работаешь в компании по продаже облачных решений ), aws? google cloud? )
источник

СС

Сказочный Сникерс in QA — Автоматизация
не, у нас железки
источник

B

Bola in QA — Автоматизация
а, ну ок ) считается
источник

СС

Сказочный Сникерс in QA — Автоматизация
Bola
работаешь в компании по продаже облачных решений ), aws? google cloud? )
MRG)
источник