Подскажите, как в скрапи передать переменную в качестве аргумента спайдера? У меня есть несколько тысяч сайтов, которые мне нужно по очереди передавать в "start_urls" в спайдере и запускать спайдер каждый раз для нового сайта. В доках сказано "Keep in mind that spider arguments are only strings" и да, если аргумент -- текстовый адрес сайта, всё ок работает, но если перебирать адреса и подставлять переменную, то ожидаемо ничего не запускается. То есть, вот так не получится, вместо url должен быть текст:
scrapy crawl keywords_spider -a start_url=url
Если тут какое-то решение? Или постановка вопроса изначально некорректная и передавать перебором аргументы это так себе идея?
Контекст задачи такой: нужно для каждого сайта посчитать количество ключевых слов на всех страницах. Насколько я понял, если передать список сайтов в "start_urls", то ключевые слова не будут подсчитываться для каждого сайта отдельно, а для всех целиком, что мне не совсем подходит.