лол, опять это "уже"

ты декодировать не можешь потому что ты картинку скачал или что-то такое

потому и респонс у тебя не htmlresponse

Ясности мне это никакой не придало. Обрабатывать то где?

обрабатывать нетекстовый респонс как текстовый? нигде.

по ТЗ ты его и кэшировать не сможешь

Кароче только если чтот внешнее писать совсем уже, выходит, обрезающее в колбеке спайдера и сохраняющее как-то аналогичным образом

ну если так тебе будет проще то да

Спасибо за ответы.
Может кто-то тут сталкивался с подобной задачей или знает как решить по-другому?

https://github.com/xiaowangwindow/scrapy-httpcache

поройся по сырцам, они вроде кэш в тексте хранят. Может натолкнет на мысли какие

Спасибо, поразбираюсь вечером

Как правильнее реализовать с точки зрения архитектуры? У меня есть две функции parse
def parse(self, response):
.....
   yield scrapy.Request(details_link, callback=self.details,  cb_kwargs=dict(item=item.copy()))
def details(self, response, item):
yield item
Мне нужно минимизировать число обращений к сайту. Чтобы если объект есть в Mysql базе и он не изменился(это можно понять в первой функции parse), то итем дропается. Если изменился то проваливается глубже и возвращает весь итем. Причем если изменилась только цена, то первой функции тоже вполне достаточно, чтобы обновить объект в базе. У меня настроен pipeline на сохранение в базу. Как то можно ему дополнительные параметры передать, чтобы в зависимости от них обновить объект частично, полностью, создать новый или ничего не делать?

Как обновить объект полностью и создать новый это я разобрался, можно не выходя из pipeline. А вот как остановить паука на середине и не дать провалиться, вот это я разобраться не могу.

нет, логику придётся совать в коллбэк, потому что пайплайны получают уже итемы, а у тебя логика должна разные итемы отдавать

ну либо написать страшную логику на мидлварях, которая получает итем, смотрит в базу, и генерит реквест если надо, вроде так можно

ну и тормозить будет конечно, если синхронно в базу ходить

А если передавать в качестве поля итема параметр?

не понимаю о чём речь, но как это поможет с тем что реквест то ли надо делать, то ли не надо?

В первой функции сделать запрос к базе, проверить изменились ли поля. добавить в итем параметр. Если нужно провалиться глубже, если нет, то yield item

может попробовать просто чекать именно в parse на наличие в базе. если есть, не проваливаешься вглубь, если нет - проваливаешься. делаешь это if'ом. Вангую тормоза будут в пределе на 20-50%. Вопрос только про то, что могут возникать нехорошие штуки с базой при одновременной записи. По-идее если ты будешь именно внутри parse открывать и закрывать транзакцию, то взлетит. Ну так костыльненько конечно.