Отправить все запросы которые отправляет браузер

Скажите пожалуйста как заставить linkextractor выдавать линки с rel=nofollow. Он их не видит

сам по себе linkextractor вытаскивает линки с rel=nofollow

from scrapy.linkextractors import LinkExtractor
LinkExtractor().extract_links(response)

Out[2]: [ Link(url='https://yandex.ru/support/vendormarket/index.html', text=u'\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f\u043c', fragment='', nofollow=True),
 Link(url='https://aff.market.yandex.ru', text=u'\u041f\u0430\u0440\u0442\u043d\u0451\u0440\u0441\u043a\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430', fragment='', nofollow=True),
 Link(url='https://market.yandex.ru/partners', text=u'\u0421\u0430\u0439\u0442 \u0434\u043b\u044f\xa0\u043f\u0430\u0440\u0442\u043d\u0451\u0440\u043e\u0432', fragment='', nofollow=True),
 Link(url='https://mobile.yandex.ru/apps/iphone/market?from=market_footer#main', text=u'', fragment='', nofollow=False),
 Link(url='https://mobile.yandex.ru/apps/android/market?from=market_footer#main', text=u'', fragment='', nofollow=False),
 Link(url='https://sovetnik.yandex.ru/?clid=2312596&utm_source=market&utm_medium=main&utm_campaign=footer', text=u'\u0421\u043e\u0432\u0435\u0442\u043d\u0438\u043a \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u0432\u0430\u043c \u0442\u043e\u0432\u0430\u0440\u044b\u043f\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0433\u043e\u0434\u043d\u043e\u0439 \u0446\u0435\u043d\u0435. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435', fragment='', nofollow=True),
 Link(url='https://www.facebook.com/yandex.market/', text=u'', fragment='', nofollow=True),
 Link(url='https://vk.com/yandex.market', text=u'', fragment='', nofollow=True),

Скорее всего вам нужно править Rule, если его юзаете. Там не сложно.

Писали уже что 1.7 зарелизили?

Не писали :)

A new class for JSON requests звучит интересно.

А как это повторить? Postman(js там вроде бы тоже отключен) не видит Js куки. К allCookies = document.cookie; у скрапи же нет доступа? Или это уже только сплешом?

Чем

Народ хочу спарсить разедл olx с чего начать, уже понял что bs4 не катит, селениум что-ли юзать

?

и что делать с ajax запросами?

смотреть в dev tools что куда отправляется, генерировать и отправлять

и зачем в топике scrapy пишете про bs4 и selenium?

Есть в faq

Тлс попробуй сменить

Либо с куками повеселись

Ссл свой переделай ещё, в питоне это сложновато, а так если pyopenssl перекомпилить, все и без seleniuma делается

Либо детекти адрес сайта и прям на него