МС
может в виде либы оформить? сейчас не соображу, кто лучше подойдет, из стандартов скрапи...
Size: a a a
2021 April 10
МС
угу, типа того, только с нюансом в использовании со скрапи
МС
вроде, подходит downloader middleware
process_request - подставляешь свою куку. Сюда же, можно добавить "мету", надо ли читать куку из файла. Либо по принципу "читать, только если нет куки в реквесте"
process_response - сохраняешь куку
либо. в милваре читать/писать в память.
в экстеншене - читать/сохранять в файл при открытии/закрытии паука
это примерно, я, на самом деле, не особо силен в архитектуре :)
process_request - подставляешь свою куку. Сюда же, можно добавить "мету", надо ли читать куку из файла. Либо по принципу "читать, только если нет куки в реквесте"
process_response - сохраняешь куку
либо. в милваре читать/писать в память.
в экстеншене - читать/сохранять в файл при открытии/закрытии паука
это примерно, я, на самом деле, не особо силен в архитектуре :)
МС
а там, дальше, "подъедет" хранение не только в файле, разделение кук через cookie_jar
r
чесн слово, я трахался с dowloader middleware и spider middleware, оно почему то никакие куки не выводило, как я не старался. Я изначально и думал сделать чтобы просто прописал в мидлваре, мол сохранить куки и использовать их, но как не старался постоянное пустой список выводило.
p.s в настройках миддлварь включал
p.s в настройках миддлварь включал
AR
Порядок был не тот
AR
Мидлварей, они же выполняются по очереди и передают данные одна другой
AR
Ок :)