Size: a a a

QA — Автоматизация

2020 March 30

BO

Boris Osipov in QA — Автоматизация
чувак. охлади траханье. то вопросы какие-то не сильно адекватные. теперь что-то додумываешь про контент тестов, которых даже не видел. keep calm.
источник

ES

Eugene Shulga 🚀 in QA — Автоматизация
Привет, подскажите существует ли рабочий инструмент для неточного сранивания изображений (возможно на базе нейронок)?

Пример использования - у меня есть пачка заготовленных скриншотов валидного Web UI, при прогоне тест скрипт делает скришот текущей версии приложения и сравнивает ее с заготовкой, но на разных браузерах отличаются методы отрисовки  шрифтов и теней, потому прямой метод сравнения изображений может не сработать корректно
источник

А

Алексей in QA — Автоматизация
Eugene Shulga 🚀
Привет, подскажите существует ли рабочий инструмент для неточного сранивания изображений (возможно на базе нейронок)?

Пример использования - у меня есть пачка заготовленных скриншотов валидного Web UI, при прогоне тест скрипт делает скришот текущей версии приложения и сравнивает ее с заготовкой, но на разных браузерах отличаются методы отрисовки  шрифтов и теней, потому прямой метод сравнения изображений может не сработать корректно
яндексовский ашот умеет в неточные сравнения
источник

А

Алексей in QA — Автоматизация
а так создание таких тестов всегда требовало кастомных решений :)
источник

ES

Eugene Stogniy in QA — Автоматизация
Eugene Shulga 🚀
Привет, подскажите существует ли рабочий инструмент для неточного сранивания изображений (возможно на базе нейронок)?

Пример использования - у меня есть пачка заготовленных скриншотов валидного Web UI, при прогоне тест скрипт делает скришот текущей версии приложения и сравнивает ее с заготовкой, но на разных браузерах отличаются методы отрисовки  шрифтов и теней, потому прямой метод сравнения изображений может не сработать корректно
возможно вам поможет то что у большинства есть настройка точности сравнения
источник

AK

Anton Khayrutdinov in QA — Автоматизация
Eugene Shulga 🚀
Привет, подскажите существует ли рабочий инструмент для неточного сранивания изображений (возможно на базе нейронок)?

Пример использования - у меня есть пачка заготовленных скриншотов валидного Web UI, при прогоне тест скрипт делает скришот текущей версии приложения и сравнивает ее с заготовкой, но на разных браузерах отличаются методы отрисовки  шрифтов и теней, потому прямой метод сравнения изображений может не сработать корректно
есть вот эти ребята: https://applitools.com, но это прям энтерпрайз
источник

ES

Eugene Shulga 🚀 in QA — Автоматизация
Anton Khayrutdinov
есть вот эти ребята: https://applitools.com, но это прям энтерпрайз
Да вижу их инструмент Applitools Eyes может игнорировать различия, спасибо оно

Теперь вопрос прайсинга 🙂
источник

AK

Anton Khayrutdinov in QA — Автоматизация
Eugene Shulga 🚀
Да вижу их инструмент Applitools Eyes может игнорировать различия, спасибо оно

Теперь вопрос прайсинга 🙂
насколько я понял, порядок цен в районе $10к в год
источник

ES

Eugene Shulga 🚀 in QA — Автоматизация
Жаль, для малого бизнеса нерентабельно, буду дальше искать

Я уверен что где-то в опен-сорсе должна быть натренерованная нейронка которая это умеет
источник

VS

Vladyslav Shcherba in QA — Автоматизация
Eugene Shulga 🚀
Жаль, для малого бизнеса нерентабельно, буду дальше искать

Я уверен что где-то в опен-сорсе должна быть натренерованная нейронка которая это умеет
А что она по твоему должна уметь делать?
источник

VS

Vladyslav Shcherba in QA — Автоматизация
Принимать за людей решение что баг а что нет? На основании кучки пикселей?
источник

ES

Eugene Shulga 🚀 in QA — Автоматизация
Vladyslav Shcherba
А что она по твоему должна уметь делать?
Игнорировать разницу в рендеринге шрифтов, градиентов и теней
источник

AK

Anton Khayrutdinov in QA — Автоматизация
Eugene Shulga 🚀
Жаль, для малого бизнеса нерентабельно, буду дальше искать

Я уверен что где-то в опен-сорсе должна быть натренерованная нейронка которая это умеет
ну я когда-то решил аналогичную проблему, написав стратегию для aShot, которая достаточно хорошо боролась с небольшими линейными смещениями вида "блок съехал на пиксель вправо и на два вверх". Возможно в твоем случае, если артефакты однотипны и предсказуемы, можно попробовать накидать некоторую "экспертную систему на if'ах", а не пытаться найти универсальное решение. Которое будет скорее всего давать много ложных срабатываний или которую придется обучать на непонятно каких датасетах
источник

LY

Lev Yarushin in QA — Автоматизация
Eugene Shulga 🚀
Привет, подскажите существует ли рабочий инструмент для неточного сранивания изображений (возможно на базе нейронок)?

Пример использования - у меня есть пачка заготовленных скриншотов валидного Web UI, при прогоне тест скрипт делает скришот текущей версии приложения и сравнивает ее с заготовкой, но на разных браузерах отличаются методы отрисовки  шрифтов и теней, потому прямой метод сравнения изображений может не сработать корректно
Можно рефки для каждого браузера свои делать. Ну и порог поставить,  чтобы на антиалиас не было ложных срабатываний
источник

ES

Eugene Shulga 🚀 in QA — Автоматизация
> Можно рефки для каждого браузера свои делать.

Это да, думал такой вариант на план Б 🙂
источник

R(

Roman (rpwheeler) in QA — Автоматизация
Eugene Shulga 🚀
Привет, подскажите существует ли рабочий инструмент для неточного сранивания изображений (возможно на базе нейронок)?

Пример использования - у меня есть пачка заготовленных скриншотов валидного Web UI, при прогоне тест скрипт делает скришот текущей версии приложения и сравнивает ее с заготовкой, но на разных браузерах отличаются методы отрисовки  шрифтов и теней, потому прямой метод сравнения изображений может не сработать корректно
SikuliX на основе OpenCV умело в неточное сравнение, "с линейным процентом точности". "Под капот" я не заглядывал, но думаю что где-то решения на основе OpenCV найдутся .
источник

LY

Lev Yarushin in QA — Автоматизация
источник

LY

Lev Yarushin in QA — Автоматизация
Вот сборник, всего понемногу
источник

LY

Lev Yarushin in QA — Автоматизация
Roman (rpwheeler)
SikuliX на основе OpenCV умело в неточное сравнение, "с линейным процентом точности". "Под капот" я не заглядывал, но думаю что где-то решения на основе OpenCV найдутся .
Sikuli это всё же про автоматизацию на основе картинок, а не регрессию.
источник

EB

Evgenii B in QA — Автоматизация
а какой смысл в автоматизации ( тестирования) если она не помогает с регрессией (тестирования) ?
источник