Если в скрапи использовать
https://doc.scrapy.org/en/latest/topics/spiders.html#crawlspider-example crawlspider,
то не могу понять, как добавить
https://doc.scrapy.org/en/latest/topics/spiders.html?highlight=arguments#spider-arguments аргументы,
чтобы считать то что ведет юзер и если он ввел один, то использовать тот рулс, что в иф, а если два, то тот что в елз.
class MySpider(CrawlSpider):
name = 'example.com'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com']
rules = (
# Extract links matching 'category.php' (but not matching 'subsection.php')
# and follow links from them (since no callback means follow=True by default).
Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),
# Extract links matching 'item.php' and parse them with the spider's method parse_item
Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
)
вот как это условие в класс добавить и как правильно прописать аргументы - не пойму.
в доке есть пирмеры для спайдера, там все понятно, а вот как это написать для CrawlSpider не знаю и не нагуглил нигде такого.
