iframe src=....
не на какие мысли не наводит?

это же совершенно другой документ. И ты его видишь только в браузере. Если надо из скрапи - то получай отдельно

Пробовал достучаться через xpath, не находил элементы скрытые в этом блоке

чем страницу получешь?

Я не хочу что бы эту задачу за меня решили, хочу понять что прочитать, что бы разобраться, дошел уже к Selenium через jQuery

ну, вообще вопрос "чем страницу получешь?" и был что бы помочь разобраться. Нахрен за тебя что то делать* 😂
Если реквесты, то надо отдельно фрейм получать

Как я понял, нужно сначала frame вызвать, тогда откроется следующая вложенность, и я смогу кликнуть по кнопке

В теории, правильно понял?

Один из вариантов

https://pa.newham.gov.uk/online-applications/
Пытаюсь отправить с одним ключевым словом и различными временными промежутками, но почему-то парсится только один промежуток из множества.
например, нужно отправить запрос за 2018 и 2019 года (каждый я января по декабрь), но записывается только 2018 год, а 2019 фильтруется - запрос с ним (наверное) неверно генерируется. Но не понятно как это исправить.

'dupefilter/filtered' должен быть окуло нуля, а
'item_scraped_count': примерно в три раза больше

Что я делаю не так?

https://pastebin.com/rM19Qakw

ну так посмотри какие ты запросы отправляешь, от этого и плясать

строка 31, а зачем слать кучу GET запросов на одну  страницу?

пытался сессии создать

пофиксили, помог cookiejar

Можно ли ускорить работу Scrapy с кэшем на уровне кода? Если да, то в какую сторну смотреть?

?

если я правильно понял, то:
первый шаг - написать свой мидлварь (или кто там за это отвечает) и использованием более быстрого хранилища
второй шаг - нафиг переписать скрапи, и, скорее всего, с использованием совершенно другого языка. Может даже с использованием компилируемого....

а, забыл нулевой шаг - поискать не стандартную либу для работы с кэшем

и кстати, сколько у тебя данных, что он у тебя тормозит