ртд не обновили ещё

а, в коммите нашел, читаю :)

New :class:`~scrapy.signals.headers_received` signal that allows stopping   downloads early

это то, что я подумал? можно просто по заголовкам шариться?

ну то есть я не знаю что ты имеешь в виду, но можно скачать заголовки и всё

угу, я про это и говорил. Кто то тут спрашивал про это

Всем привет. У меня  паук, который через start_requests брал N урлов из очереди и парсил данные. Это всё в асинхроне (идём на первый урл, далее на второй, далее на N, если есть вторая страница идём на неё на первом урле, на втором....). Сейчас нужно парсить 1 товар в сессии, открываю паука на 1 урл и закрываю после пропаршивания. Всё стало медленней в 4-5 раз. Вопрос: есть возможность запускать парсинг второго урла только после обработки Item от парсинга первого, что б не закрывать паука?

Можно сделать несколько сессий или использовать https://docs.scrapy.org/en/latest/topics/signals.html#spider-idle

а несколько сессий как делать? тестил для каждого scrapy.Request из start_requests свой набор кук - перезаписывается. т.е. после запска второго урла новые куки используются и для первого

Огромное спасибо, ушёл разбираться 👍😁

Всем доброго дня, извиняюсь возможно оффтоп, я новичек в теме, вобщем столкнулся с такой проблемой, паршу сайт с кнопкой показать номер, посмотрел кнопка жмется по get запросу типа https://sice.com/ajax/num/{куча символов типа 4aYhdt....} Вобщем для каждой карточки генерируется разный набор этих символов, и вопрос откуда это вообще берется, как это генерируется подскажите не пойму от куда отталкиваться

Или оно уже где-то есть на странице, или генерируется через js, соответсвенно ищи в html или js

Понял благодарю

человеки, есть информация, гуглоплей обижается на парсинг? надо просто бегать и контакты собирать?

ты у нас спрашиваешь надо ли тебе контакты собирать?

я спрашиваю банит ли гугл за парсинг :)

кстати, под закон же, вроде, личные контактные данные попадают.... 🧐