Size: a a a

2021 April 02

AR

Andrey Rahmatullin in Scrapy
ну давай
источник

r

rink0 in Scrapy
Andrey Rahmatullin
ну давай
Интересно конечно. Сейчас вывело все куки
источник

G

Georgiy in Scrapy
Andrey Rahmatullin
текущий кукиджар мидлвари доступен только в мидлвари
Это не так. Текущий cookiejar вполне реально вытащить из parse метода паука.
self.crawler.engine.downloader.middleware.middlewares[n].jars[cookiejarkey]
cookiejarkey - если в запросе не было cookiejar в meta тогда нужно использовать None.
n - порядковый номер middleware в downloadermiddlewares
его можно определить из записи лога
INFO: Enabled downloader middlewares:
если - scrapy.downloadermiddlewares.cookies.CookiesMiddleware, например, 9й в этом списке (n - нумерация с нуля)
тогда
self.crawler.engine.downloader.middleware.middlewares[8].jars[None]
источник

AR

Andrey Rahmatullin in Scrapy
нуууууууу
источник

r

rink0 in Scrapy
Georgiy
Это не так. Текущий cookiejar вполне реально вытащить из parse метода паука.
self.crawler.engine.downloader.middleware.middlewares[n].jars[cookiejarkey]
cookiejarkey - если в запросе не было cookiejar в meta тогда нужно использовать None.
n - порядковый номер middleware в downloadermiddlewares
его можно определить из записи лога
INFO: Enabled downloader middlewares:
если - scrapy.downloadermiddlewares.cookies.CookiesMiddleware, например, 9й в этом списке (n - нумерация с нуля)
тогда
self.crawler.engine.downloader.middleware.middlewares[8].jars[None]
источник

G

Georgiy in Scrapy
Главное что это работает. Все остальное - вторично.
источник

G

Georgiy in Scrapy
источник

G

Georgiy in Scrapy
rink0
Извиняюсь за мета вопрос. Но у кого-то получалось сохранять все куки в файл? Если да, то как?
Я правильно понимаю? сохранить cookiejar в файл что бы при следующем запуске подгрузить cookiejar в файла? или просто сохранить?
источник

r

rink0 in Scrapy
Georgiy
Я правильно понимаю? сохранить cookiejar в файл что бы при следующем запуске подгрузить cookiejar в файла? или просто сохранить?
мне не сам cookiejar. Да и вообще все равно как это будет реализовано, нужно просто перед завершением скрипта, чтобы куки сохранялись, и использовать их при следующем запуске скрипта, ибо парсить там много, и я не знаю как сайт себя будет вести
источник

r

rink0 in Scrapy
но уже куки нормально выводит, так что пишу уже реализацию основаную на response.request.headers.getlist("Cookie")
источник
2021 April 03

AT

Andy Top in Scrapy
Дайте какой нибудь фишинг центр,или фишинг страницу gmail
источник

S

SoHard 🎄 in Scrapy
Andy Top
Дайте какой нибудь фишинг центр,или фишинг страницу gmail
по голове только могу дать
источник

r

rink0 in Scrapy
Andy Top
Дайте какой нибудь фишинг центр,или фишинг страницу gmail
источник

r

rink0 in Scrapy
Там форму заполни, и почтой на флешке пришлют
источник

S

SoHard 🎄 in Scrapy
источник

S

SoHard 🎄 in Scrapy
мамкины хакиры
источник

r

rink0 in Scrapy
Пхахахах
источник

AT

Andy Top in Scrapy
SoHard 🎄
мамкины хакиры
Согл
источник

AT

Andy Top in Scrapy
Пасиб, они и так меня палят)
источник

r

rink0 in Scrapy
Andy Top
Согл
Так кстати только шкила говорит
источник