Но у легитимных краулеров обычно есть список диапазонов с которых они могут ходить к тебе.
Забавно, кстати. У нас была агрегация видео новостей с разных сайтов. И иногда что-то ломалось. Так мы не могли иногда из рабочей сети проверить, потом что были вне диапазона и сайты блокировали