сайт легкий, jsa не нашел, в тз есть сомнительные формулировки про фото и второй ценник оптовый, про фото, зачем их называть, если качаются ссылки на них?

да,но я уже сделал ,там по пути много проблем

работает

нет

Добавь priority в запросы

куда какой? я думаю пока луп не пройдет оно дальше ж не будет посилать? или нет?

будет

def parse(self, response):
        for country in self.country_codes:
            for industry in self.industry_codes:
                for revenue in range(self.min_revenue, self.max_revenue, 1_000_000):
                    max_revenue = revenue + 1_000_000
                    yield scrapy.Request(
                        url=f'https://www.emis.com/php/company-profile/index/search?rpp=50&sort'
                            f'prod[]={country}&multiselect_0={country}'
                            f'&indu[]={industry}&multiselect_1={industry}'
                            f'&cmpy_tr_usd_min={revenue}&cmpy_tr_usd_max={max_revenue}',
                        headers=self.headers,
                        callback=self.parse_category
                    )

сюда приорити 2, а в той что скрапить страницЬІ то приорити 1?

никогда еще их не юзал

Я ставил приорити, когда у меня терялись итемы при парсинге многостранички

ох... там луп насколько, десятки или на сотки тыс запросов?

десятки точно

на 6000 запросах 20гб оперативки забило

та дам итого только 3 млн айтмемов

да, не надо ставить в очередь сразу много запросов

я, впрочем, вообще против идеи обработки миллионов запросов в одном джобе

в parse_category - 1, parse_company - 2, в parse - 0 (по умолчанию)

а почему не через базу?

от, вообще, безгеморойный вариант. И прерывай, и дособирай, и ипись что хочешь