он проходит по тем страницам, которы в start_urls + может переходить по тем страницам, которые захочешь
например на странице сесть кнопка "next page" находиошь элемент по css\xpath берёшь @href переходишь на страницу другую с помощью yield scrapy.Requests(.....)