есть ли какие-либо алгоритмы поиска бага на сайте?
Я бы сказал алгоритмов нет....
Есть чек-листы например.
Допустим видишь поля "Авторизации" логин - пароль.
И вот ты уже понимаешь, что тебе надо проверить эти поля.
Какие значения они принимают входящий. Какие должны принимать, а какие нет. И проверяешь различные комбинации.