а с другой уже есть решение встроенное на dbm для кэша, если не охота юзать диск (условно - лям страниц надо закэшировать)
а для спарсенных данных кто во что горазд. Либо редис, либо монго, либо постгрес, это уже больше зависит от того что с ними потом делать, как встраивать в дальнейшую обработку

эээээээ

Я ведь недавно в теме)

Ага

ну типа ты включаешь его- и скрапи когда первый раз парсит сайт, сохраняет все реквесты-респонсы на, допустим, диск. И может хранить их там какое-то время, типа пару дней. Чтобы если надо запустить скрапи на тех же данных - он уже будет обращаться не к сайту а на диск твой ходить, допустим, ты его отлаживаешь и что-то поломалось, или ты забыл какое-то поле добавить в айтемс, или клиент попросил еще что-то добавить

и все это делается намного быстрее, когда скрапи бегает по кэшу, по уже скачанным данным. а может и 30 дней хранить, как задашь. вот чтобы сервак удаленный по несколько раз не насиловать и получить результат быстрее и включается кэш.

Понятно

Здорово, че)

Я то дурак не знал

ну это не всегда нужно. но иногда прям очень пригождается. типа как-то писал я парсер, на пол-ляма страниц, и бегало оно дня 3, т.к. сервак был не особо быстрый,  а потом клиент нашел скрытое поле, которое тоже надо бы было вытащить.

и ладно я кэш врубил на всякий пожарный - по-итогу просто заново запустил его на кэше и там за какое-то адекватное время данные получил.

надо будет вот эту штуку потестить для таких случаев: https://github.com/cuducos/scrapy-memcached-cache

Сколько весит полляма страниц?

зависит от страниц. плюс оно же еще архивируется на лету обычно. у меня гигов 60 весило

Паук качает только страницу или статику тоже?

не понял я вопрос, можешь тут примерно посмотреть чего можно выкачать и какие примерно объемы могут быть (но не обязательно именно это)
https://commoncrawl.org/2020/04/march-april-2020-crawl-archive-now-available/

Ну в кэш сохраняется только html или картинки, css и другие файлики тоже?

там сохраняется небольшая мета, реквест и респонс запроса, достаточные для того, чтобы твой скрапи пробегая на кэше отработал так же, как бы он отработал на сайте

Понял, спасибо