Люди подскажите, как можно настроить порядок запросов в CrawlSpider? Есть скажем 100 категорий, в каждой от 3 до n страниц товаров, по дефолту паук лезет(из за асинхронности?) как будто рандомно в глубь категорий.
Нашел такую штуку
# DEPTH_PRIORITY = 1
# SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
# SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'
Позволяет лазить 1-100 Категории, потом 1я страница 1й категории, 1я страница 2й Категории итд
Можно ли настроить чтобы было так:
1я Категория>1я страница 1й категории ... и до конца страниц 1й категории.
Далее 2я категория все страницы итд