ну или логи сплэша смотреть какие-нибудь

не совсем про сплеш, но может это поможет: https://docs.scrapy.org/en/latest/topics/broad-crawls.html#increase-twisted-io-thread-pool-maximum-size

Такой вопрос. Паук заходит в категорию, собирает некоторые данные для formdata и отправляет formrequest на ajax запрос.
Апи возвращает список товаров с некоторыми другими параметрами, такими как количество страниц в категории всего. По-другому получить количество страниц нельзя.
Вопрос, как написать паука так, чтобы он с response категории отправил запрос в апи, получил количество страниц и сгенерировал нужное количество запросов (меняя для каждого из них в formdata параметр номера страницы).

Сделать цикл?

inline_requests проще всего

Зайти в категорию -> Сгенерировать на основе ее страницы параметры для FormRequest -> Получить результат, вычленить количество страниц -> Сгенерировать на основе параметров со страницы категории и количества страниц запросы для скачки всех товаров со всех страниц

И в чем проблема?

Привязка каждого ajax запроса к странице

Когда идет вызов запроса, он ведь уходит в один конец, верно?

это как?

Можно вернуть данные в метод, который его вызвал?

только с inline_requests

Спасибо

Какие есть методы?)

inline_requests

или вопрос про альтернативы?

еще методы*

Ага

сунуть весь контекст в cb_kwargs

и делать следующие запросы из коллбэков, понятно дело