прям вот этот метод в классе паука запили

это специальный метод именно для твоих целей

какая то глупая проблема. сначала функция проходится по циклу и только потом начинает делать запросы через yield

links = response.css("div.category-item a::attr(href)").extract()
       for i in links:
           print('parse')
           yield response.follow(i, callback=self.parse_page)

сначала parse напечатает раз 20 и только потом куда то пойдет, что я делаю не так?

Делаете так, но результат ждете не тот

так и должно быть? Вроде делал что-то подобное неделю назад и  все по порядку шло

Коллбэк вызывается только тогда когда ответ уже пришел

что то можно сделать, чтобы был тот результат ,  который я жду?

Так аргументы в ините, после а этот клас метод раньше вызывается. Правильно?

Inline_requests. А зачем скрапи вообще?

Либо положите принт в def parse, может это хотите? @infizy

проверил. update_settings раньше вызывается.
Вы просто переопределите FeedExporter и свой сделайте и не надо тогда париться с перезаписью настроек

Так аргументы в ините, после а этот клас метод раньше вызывается. Правильно?

Это вершина айсберга.
Просто месяц назад делал паука он со страницы брал все ссылки на товары, проходился по каждой из них и шёл на следующую страницу. Сейчас, почему то сначала идёт на следующие страницы, там собирает, потом уже только проходит по товарам

Всем привет. Ребят, у меня будет несколько вопросов, подскажите плз:
1) на сайте в куки добавляется токен. Как вы ищете обычно запрос, которые генерирует его? F12 -> Network -> и смотрите что возвращают запросы?
2) Вопрос по поводу xpath:

for offer in response.xpath("//div[contains(@itemprop, 'makesOffer')]"):

тут я открыл цыкл, и каждый элемент - это оффер который мне нужен. Проверял, все работает. Но я хочу получить его название, я принтую:

print(offer.xpath("/a[contains(@class, 'discount-text-link')]"))

но в итоге оно мне возвращает None. Почему? если использовать //  - то вернёт название первого офера на странице, это логично. Но почему / не находит в нужном оффере уже это? Я так понимаю, что / используется чтобы идти исключительно только вглубь селектора, котороый ты выбрал. Мб я что-то делаю не так, подскажите плз. Я просто хочу в цыкле получить название каждого оффера. Спасибо

1. Да, посмотри где сетятся куки и попробуй вытащить их и все

сетятся == в каком запроси они появились?

спасибо)