Size: a a a

2021 April 02

r

rink0 in Scrapy
источник

r

rink0 in Scrapy
я пытался в коде писать print(request.headers.getlist('Cookie'))
но там выводит только часть кукисов
источник

AR

Andrey Rahmatullin in Scrapy
так это после доставания из джара, а ты смотрел до
источник

AR

Andrey Rahmatullin in Scrapy
или показывай код
источник

AR

Andrey Rahmatullin in Scrapy
и, повторюсь, сохранять надо не это
источник

r

rink0 in Scrapy
Andrey Rahmatullin
или показывай код
https://gist.github.com/r1nko/3ea705bff81ab3739e48418e1ace056f
личные данные заменил на example.

в конце парсинга пытаюсь получить все последние кукисы, 42 строка
источник

r

rink0 in Scrapy
Andrey Rahmatullin
и, повторюсь, сохранять надо не это
а что? не совсем понял
источник

AR

Andrey Rahmatullin in Scrapy
ну смотря что хочется сделать наверно, но обычно сохраняют все имеющиеся куки, т.е. кукиджар
источник

r

rink0 in Scrapy
https://programmer.group/scrapy-framework-get-delivery-local-save-of-cookies.html

так же пробовал такой вариант с CookieJar, так же самое сохраняет только одну часть
источник

r

rink0 in Scrapy
как и код который скинул выше
источник

AR

Andrey Rahmatullin in Scrapy
это не "вариант с CookieJar", это парсинг Set-Cookie из респонса, получит он ессно только то, что сервер выдал в респонс
источник

AR

Andrey Rahmatullin in Scrapy
текущий кукиджар мидлвари доступен только в мидлвари
источник

r

rink0 in Scrapy
источник

r

rink0 in Scrapy
Andrey Rahmatullin
текущий кукиджар мидлвари доступен только в мидлвари
можешь пожалуйста ткнуть в документацию, а то даже не пойму где читать
источник

AR

Andrey Rahmatullin in Scrapy
на внутренности мидлварей документации нет
источник

AR

Andrey Rahmatullin in Scrapy
но в общем-то если ты в колбэке смотришь на response.request.headers и там не всё, то надо смотреть что именно не всё
источник

AR

Andrey Rahmatullin in Scrapy
если там не то, что в дебаге, то это странно
источник

r

rink0 in Scrapy
Andrey Rahmatullin
но в общем-то если ты в колбэке смотришь на response.request.headers и там не всё, то надо смотреть что именно не всё
не совсем понял
источник

AR

Andrey Rahmatullin in Scrapy
ты утверждаешь что в колбэке в request.headers.getlist('Cookie') не то, что COOKIES_DEBUG про этот респонс выдал, я в этом сомневаюсь и считаю что надо смотреть в чём разница если это вообще правда
источник

r

rink0 in Scrapy
Andrey Rahmatullin
ты утверждаешь что в колбэке в request.headers.getlist('Cookie') не то, что COOKIES_DEBUG про этот респонс выдал, я в этом сомневаюсь и считаю что надо смотреть в чём разница если это вообще правда
могу в личные сообщения скинуть результаты вывода?
источник