Направьте пожалуйста в нужном направлении, не могу понять можно ли в Scrapy указать пауку например в текстовом файле по каким ссылкам не надо переходить? Ситуация такая что около 12 млн товаров, я парсил с кэшированием и на 3 млн. кончилось место на компе. И сейчас чтобы не парсить эти 3 млн товаров можно ли указать парсеру что по этим ссылкам не надо переходить для детального парсинга. Такое возможно?