задача состоит в следующем : автотест на проверку уникальности страниц с процентным соотношением схожести относительно шинглов в рамках сайта и каждую следующую проверку чекать только свежий контент. а для этого необходимо первоначально пройтись по страницам и сохранить контент.

сам алгоритм протестирован, работает ))

Если алгоритм оценки схожести текстов потестирован, то какой смысл в этих манипуляциях с проходом по страницам? Вы же понимаете, что в конечном итоге все эти тексты все равно будут подаваться на вход тому же алгоритму? Если же это делается с целью импрувмента алгоритма, аля active learning, то это кончено другой вопрос. Но и тут вам нет смысла ходить по страницам сайта. Это долго и неэффективно. Лучше такое делать через API.

И сохранять тут тоже ничего не нужно. Можно ведь взять текущий снепшот текста через API, внести корректировки и подать на вход алгоритму. Можно даже это делать без сохранения нового текста, если взять какое-то существующее NLP решение для перефразирования текстов. Но опять-таки, все это можно делать на более низком уровне.

к сожалению, API нет...

QApedia - канал от тестировщиков для тестировщиков, в котором вы найдете:

— Переведенные зарубежные статьи, которые есть только у нас;
— Возможность предложить нам статью для перевода;
— Полезные видео;
— Профессиональный юмор;

Присоединяйтесь, давайте расти как профессионалы вместе 😉

Кстати уже вышло продолжение https://youtu.be/dkBw73Ih1MY

Вы скрапите чей-то сторонний ресурс что-ли?

это сайт школы с новостями и блогом, там в принципе особого функционала нет... эт называется "добро пожаловать в мир СЕО"  ))

Т.е. вы просто обкатываете свой алгоритм на сторонних ресурсах? Или сайт все же ваш, но полностью статический, без бекенда, и обновленные тексты просто вручную туда заливаются при редеплое? Я просто все еще не совсем понимаю процесс и ваш конкретный юз-кейс. Что конкретно вам даст значение 0.1 или 0.73 similarity level на выходе при анализе сайта школы? Как вы дальше с этой информацией работаете?

https://www.youtube.com/watch?v=c7QQab7e_Gs
Ускоренный курс Playwright +  PyTest.
Как писать тесты с помощью Playwight и Pytest.  Рассматриваемые темы включают в себя базовую настройку создания нового тестового проекта, поиск элементов с помощью селекторов, то, как Playwright обрабатывает задержки, добавление входных данных, все действия, которые Playwright выполняет автоматически за вас, которые вам не нужно писать, и еще несколько специализированных тест кейсов.

Какая же жесть)

сайт наш, и он на 80% динамический, новый контент поставляется отдельным ресурсом, постится на прод, а оттуда уже стягивается на дев. Но если необходимы правки в уже залитом контенте - это ручками через админку. А с результатами будут работать СЕО и контент-менеджеры ) P.S. потрусила разработчика и выбила инфу - и таки API есть, но он отключен. Так что сейчас будем думать ))

Драсти, а как можно gitignore сбросить, чтоб он заново инициализировался и не нужно было всегда add для каждого файла отдельно писать, чтобы лишние файлы не отслеживались?

Вероятно вот это поможет "перезапустить" гитигнор и исключить уже отслеживаемые файлы:
git rm -r --cached .
git add .
git commit -m ".gitignore refresh"

Спасибо, попробую

https://itnext.io/best-practices-code-review-test-automation-fb970feeca4c
Best practices при code review автоматизированных тестов.
Основная цель процесса проверки кода - оценить любой новый код на предмет ошибок, ошибок и стандартов качества, установленных организацией. Процесс проверки кода не должен состоять только из односторонней обратной связи. Таким образом  преимуществом процесса проверки кода является улучшение навыков написания кода всей командой.

Здравствуйте, заканчиваю сейчас крутой полностью текстовой курс по автоматизации на селениум/питон на степике. Знаете ли еще какие аналоги таких курсов на других платформах, которые помогут подтянуться в этой теме?

Вам именно селениум/питон нужен?

Да, можно и на английском