вообще не согласен. бот не смотрит на запрос, когда парсит сайт...ыыыы...
Чтобы скраулерить сайт, нужно иметь набор URL этого сайта. Набор этих URL можно получать разными способоами. Потому глубина краулденга зависит от того, как мы эту структуру подаем технически.