ну и юзерагенты ротировать это изи, одну мидлварь добавить, прокси ротировать аналогично, а вот всё остальное я не представляю какие тут бест практисес могут быть
В общем я из запроса, видимо тащащего товары, скопировал параметры для curl, далее отправляю в fetch через scrapy.utils.curl.curl_to_request_kwargs(), заменив куки на response'овские, но чет не работает(
В общем я из запроса, видимо тащащего товары, скопировал параметры для curl, далее отправляю в fetch через scrapy.utils.curl.curl_to_request_kwargs(), заменив куки на response'овские, но чет не работает(
как я вижу куки берутся из респонса, а до этого запрос идёт?