цикл - там просто перебор списка пауков  проверка, можно их запускать или нет

В принципе,  я так и делаю.

class Parse:
   def init(self, limit):
       self.output = {}
       self.limit = limit
       self.runner = CrawlerRunner(settings={'LOG_ENABLED': False})

   def store_data(self, data):
       self.output[data[0]['from_site']] = data

   @defer.inlineCallbacks
   def run_spiders(self):
       print(self.limit.str())

       runner = CrawlerRunner()
       for spider in spiders_list:
           yield runner.crawl(spider, callback=self.store_data, limit_published_date=self.limit)
       self.limit = datetime.datetime.now()
       reactor.stop()

       # reactor.stop()


class Matching:
   def init(self, data):
       self.output = []
       self.runner = CrawlerRunner()
       self.data = data

   def yield_output(self, data):
       self.output.append(data)

   @defer.inlineCallbacks
   def crawl(self):
       for site in self.data:
           if site == 'TatarInform':
               continue
           for other_news in self.data[site]:
               news_lst = []
               for ti_news in self.data['TatarInform']:
                   news_lst.append([other_news, ti_news])

               yield self.runner.crawl(MatchSpider, news_lst)
       reactor.stop()


if name == 'main':

   parser = Parse(limit=datetime.datetime.now() - datetime.timedelta(minutes=20))
   parser.run_spiders()
   reactor.run()

   match = Matching(parser.output)
   match.crawl()

Просто мне нужно запускать Crawl() c class Parse и crawl() c class Match

Чего-то я намудрил. Всё разобрался. Извиняюсь за такой глупый вопрос. Осталось только в def crawl засунуть цикл While True. Благодарю.

🤣, ты обращайся, мы любим "уточками" работать :)

😂😂

Здравствуйте.По BeautifulSoup вопрос можно задать?На стаковерфлоу вопрос

попытайся, сильно бить не будем :), хоть большинство тут его не любят :)

Вот, но тут наверное не конкретно по BS вопрос

А так Scrapy лучше BS?

скрапи фремворк, в котором есть парсер страниц, BS только парсер старниц

Даа, я знаю 😅

Понял,спасибо

угу, вопрос вообще не по BS.
Вообще, если правильного UA подставить, то ссылка должна открываться.
Другой вопрос, что по твоему коду из вопроса вообще 403 надо постараться получить

А что такое UA и куда надо подставить?😅 И в конце не совсем понял

session.headers = {'User-Agent': 
               'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'}

он подставляется в твоем коде
другое дело, что единственный запрос - это запрос самой страницы, с которой ты берешь ссылку, потом, ее показываешь в консоли и все