Можешь еще последовательные запросы попробовать, если там проблемы останется, то значит дело не в этом

Ок. Поэкспериментирую. Хотел просто понять они концептуально вообще должны путаться, или нет? Но я так понял, что никто не уверен :)

"To create a request that does not send stored cookies and does not store received cookies, set the dont_merge_cookies key to True in request.meta."

кажется оно по другому работатет

Конечно не должны, это был бы баг

Понял, спасибо.

Почему? Ровно так. Я прописываю свои куки в хедер, а сохраненные не передаются и не получаются ни в какие джары.

Ну, хз. Мне показалось что ты не через Хидер передаеш

Я думаю Дмитрий про теорию http, что куки в хэдэрах передаются

'DOWNLOADER_MIDDLEWARES': {
        'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
        'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
        'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
        'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
        },

почему не ротейтит ЮА ?

с каждим запросом

Ты это делал?

да, вот так у меня

custom_settings = {
        "ROTATING_PROXY_LIST": [
        'http://22225',
        ],
        'DOWNLOADER_MIDDLEWARES': {
        'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
        'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
        'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
        'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
        },
        'DOWNLOAD_DELAY': 0.7,
        'HTTPCACHE_ENABLED': True,
        'RANDOM_UA_PER_PROXY': True
    }

Народ посоветуйте норм уроки по splash + scrapy

для начала лучше освоить документацию по scrapy

custom_settings = {
        "ROTATING_PROXY_LIST": [
        'http://22225',
        ],
        'DOWNLOADER_MIDDLEWARES': {
        'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
        'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
        'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
        'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
        },
        'DOWNLOAD_DELAY': 0.7,
        'HTTPCACHE_ENABLED': True,
        'RANDOM_UA_PER_PROXY': True
    }

Тогда хз, может, что-то с обновлениями поломалось, пакет то старый. Дэбаж

Ребят. Кто работал со Scrapy, подскажите пжлст куда двигаться
Необходимо натравить паука на сайт, собрать все ссылки, и если они включают в себя /profiles/ - распарсить данные.
использовал rule, но проблема в том, что данные находятся в глубине примерно 3-4 и правила сразу отсекают все ссылки на главной

не используй rule

Или сразу давай такую страницу чтоб там были подходящие ссылки, или пиши ещё правила, чтоб довести паука до нужных страниц на которых есть нужные ссылки