Телеграмм чат группы scrapy

https://www.therealreal.com/products?keywords=birkin&sort=sold

Как получить 200 ответ на эту ссылку? Postman без проблем получает ответ, а скрапи 403. Куки, headers, UA пробовал менять.

источник

20:52пожаловаться #9

S

SoHard 🎄 in Scrapy

Stepan Smirnov

https://www.therealreal.com/products?keywords=birkin&sort=sold

Как получить 200 ответ на эту ссылку? Postman без проблем получает ответ, а скрапи 403. Куки, headers, UA пробовал менять.

tls)

источник

20:53пожаловаться #10

S

SoHard 🎄 in Scrapy

популярная проблема в последнее время

источник

20:53пожаловаться #11

A

Andrii in Scrapy

Фигасе цена на сумочки

источник

21:06пожаловаться #12

BL

Boris Litvyakov in Scrapy

нужно спарсить страничку на которой часть полей видна после авторизации
https://www.rusprofile.ru/id/2088578

для теста авторизовался руками в браузере, выдернул куку. в обычном питоне через requests_html подставляю куку и все работает, через скрейпи с scrapy_requests почему-то не достаются нужные поля.

что я делаю не так?
код без скрейпи https://pastebin.com/ReR73Y2J
код в скрейпи https://pastebin.com/A9PFJNwt

www.rusprofile.ru

ООО ЮК "Концерн Сибири"

Ключевые сведения о ООО ЮК "Концерн Сибири" из официальных источников.

источник

21:31пожаловаться #13

AR

Andrey Rahmatullin in Scrapy

JS поди

источник

21:32пожаловаться #14

SS

Stepan Smirnov in Scrapy

SoHard 🎄

tls)

'DOWNLOADER_CLIENT_TLS_METHOD': 'TLSv1.2'
сработало)

источник

21:32пожаловаться #15

S

SoHard 🎄 in Scrapy

Stepan Smirnov

'DOWNLOADER_CLIENT_TLS_METHOD': 'TLSv1.2'
сработало)

во во

источник

21:33пожаловаться #16

S

SoHard 🎄 in Scrapy

и у меня так же

источник

21:33пожаловаться #17

OS

Oleg Shleiko in Scrapy

чёт с этими TLS много сайтов уже вижу

источник

21:35пожаловаться #18

BL

Boris Litvyakov in Scrapy

Andrey Rahmatullin

JS поди

там есть JS на странице, поэтому я взял requests_html/scrapy_requests

подставляю одни и те же кукис в обычном питоне все работает, в скрейпи почему-то нет - кинул код для примера

источник

21:35пожаловаться #19

S

SoHard 🎄 in Scrapy

Boris Litvyakov

там есть JS на странице, поэтому я взял requests_html/scrapy_requests

подставляю одни и те же кукис в обычном питоне все работает, в скрейпи почему-то нет - кинул код для примера

что такое scrapy_requests?

источник

21:36пожаловаться #20