Тогда я думаю

А если нельзя автоматизировать тест, то не надо пробовать даже

Моему моску больно видеть такое.

Полной проверки фильтра на высоком уровне быть не может. Это показано у классиков, например Коупленд 2004-го года, потому что в коде могут быть "пасхалочки", и, скажем, фильтр будет нормально работать все дни кроме 1-го апреля.

Во-вторых, по "пирамиде", за фильтрацией стоит какой-то запрос. Если мы это проверяем через интерфейс, значит мы тратим много лишних ресурсов.

Поэтому, как я уже сказал, проверять это надо на уровне инспекции кода и запроса.

На интерфейсе в любом случае будет очень неполная и затратная проверка.

Вы правда думаете, что ВСЕГДА есть альтернатива?

А никто не требует полной проверки

Нельзя полностью проверить весь фильтр, вот максимально с точки зрения обычного пользователя можно

может dns теряли резолв имён в адреса, был как-то раз такой прикол

Может быть, в в чем была проблема в вашем случае? Что создало проблему?

я б помнил бы, было уже 3 года назад как. решили вроде локальным днс резолвером или тип-того.

А чего предшествовало?

в тим сити в логах было can't resolve 'http;//domainnaim

я ж не releng, я тестировщик. заметил сообщил, с ip адресами вместо dns имён проверил - всё, у меня лапки

Э, нет, это не мой случай, в логах чисто. Но большое спасибо за советы

Я могу пояснить поддробнее: отваливаются внешние сервисы. papertrail, heroku, datadog, sentry вообще чего угодно. И ошибка именно в тестах, тип аборт запроса

Где-то в ленте мелькал ссылка на подкаст известных SRE-шников. Поискать?

Если тебе нечем заняться. это не моя зона роста на сей момент.  но спасибо.

Если передумаешь, обращайся в любое время!

Буду иметь ввиду!

Максимально это затратно.  Долго будет гоняться на автоматизации.
+ Надо знать как он реализован.

Допустим в реализации прочитали статистическое исследование о том что пользователи редко пролистывают больше 30 элементов (по 10 на странице). Поэтому логика фильтра реализована в два запроса. Первый использует top 30, а второй, для зануд, делает полный поиск по базе. Первый запрос может отработать, со вторым опечатка. Или он почему-то глючит, и начинает в зависимости от фазы луны отдавать повторяющиеся результаты (у меня бывали такие баги в опыте).

На юайке начинается провал по времени — чтобы сработала вторая часть запроса надо запустить поиск, а потом пролистать три страницы. Если проверяется ещё и фильтр, надо собрать цены из ДОМа, и т.д. и т.п.  

Вот почему лучше проверять такое на уровне запросов, а не юайки.

В этом и проблема. Что сортировку селениум не может делать. И пропускает иногда погрешности. У меня задача именно в селениум сделать

Спасибо