(
Если у тебя новый адрес с каждым запросом, просто выключи куки
scrapy.spidermiddlewares.referer.RefererMiddleware отключилSize: a a a
2021 June 01
AR
можно попробовать менеджить кукиджары там же где менеджишь прокси
МС
написать мидлварь которая по ключу=прокся, будет отдавать ID cookiejar и подставлять его в запрос.
ставишь ее после проксевой мидлвари и все
ставишь ее после проксевой мидлвари и все
МС
эээ, обычно авторизацию проще пройти реквестами....
МС
файл единичный или из 100500 штук?
МС
тогда однозначно реквесты
МС
https://www.kite.com/python/answers/how-to-download-large-files-with-requests-in-python
это то, что гуглеж отдает
это то, что гуглеж отдает
МС
session
G
и для первого и для второго в scrapy уже есть пулл реквесты:
Stream response body for large files -> https://github.com/scrapy/scrapy/pull/5044
Progress bar for large downloads https://github.com/scrapy/scrapy/pull/5042
Stream response body for large files -> https://github.com/scrapy/scrapy/pull/5044
Progress bar for large downloads https://github.com/scrapy/scrapy/pull/5042
МС
можно, но и, сессии то и куки держат, насколько я понимаю, нафига франкенштейна городить?