Size: a a a

2021 May 27

Z

Zzz in Scrapy
Thanks
источник
2021 May 28

Э

Эдуард in Scrapy
Может кто сталкивался? Есть сайт https://torgi.gov.ru, при заходе на него отправляется get запрос на другой ресурс https://gosbar.gosuslugi.ru/sites/torgi.gov.ru. Не могу понять как вытащить cookie нормально. при запросе на основную страницу https://torgi.gov.ru/index.html через requests куки приходят, но отличаются от тех, что в браузере. Может смотрю не туда? Или только в ручную подкладывать?
источник

(

(o_O) in Scrapy
Ответ сервера, в том числе и куки может зависеть от запроса, например от user-agent. Выставляй запросу такие же заголовки как браузер.
источник

Э

Эдуард in Scrapy
Так и делаю. Заголовки копирую, но откуда здесь берутся куки так не понял
источник

(

(o_O) in Scrapy
Куки это тоже заголовок. В ответе сервера он "Set-Cookie", в запросе "Cookie"
источник

AR

Andrey Rahmatullin in Scrapy
я честно говоря не понял вопроса
источник

AR

Andrey Rahmatullin in Scrapy
особенно к чему там про второй урл написано если вопрос про первый
источник

(

(o_O) in Scrapy
Да и я не очень
источник

(

(o_O) in Scrapy
А, ну да, еще куки привязан к домену
источник

Э

Эдуард in Scrapy
Мне показалось что куки тянутся со второго урла. Возможно ли это?
источник

AR

Andrey Rahmatullin in Scrapy
любой запрос может выставлять куки
источник

AR

Andrey Rahmatullin in Scrapy
у меня впрочем этот аякс-запрос к https://gosbar.gosuslugi.ru/sites/torgi.gov.ru никакие куки не возвращает
источник

Э

Эдуард in Scrapy
Наверное это какая то степень защиты. Буду ковырять второй урл
источник

AR

Andrey Rahmatullin in Scrapy
зачем?
источник

Э

Эдуард in Scrapy
Логично
источник

AR

Andrey Rahmatullin in Scrapy
😕
источник

МС

Михаил Синегубов... in Scrapy
ну, скорее, это просто работа сайта такая.
у гугла, по крайней мере, авторизация была, он через ютуб и что то еще пробегал. Причем "второй запрос отправляем без кук, на тратий берем куки из первого, а потом свалим все в одну кучу" :)) примерно так
источник

AR

Andrey Rahmatullin in Scrapy
я собсна вообще почти никаких кук не вижу интересных, только route (ставится с самого первого запроса) и JSESSIONID
источник

AR

Andrey Rahmatullin in Scrapy
но у меня от госуслуг куки в браузере какие-то и так есть
источник

МС

Михаил Синегубов... in Scrapy
без куки с посторонней ссылки работает или нет? так то, в браузере еще и куки счетчиков сидят, всяких яндексо-гуглей :)
источник