Size: a a a

2020 April 10

AR

Andrey Rahmatullin in Scrapy
ну или логи сплэша смотреть какие-нибудь
источник

i

ildar in Scrapy
Alexander Chaptykov
А было у кого такое что если парсить неск. тыщ урлов то splash начинает выкидывать twisted.internet.error.TimeoutError?
не совсем про сплеш, но может это поможет: https://docs.scrapy.org/en/latest/topics/broad-crawls.html#increase-twisted-io-thread-pool-maximum-size
источник

Д

Данил in Scrapy
Такой вопрос. Паук заходит в категорию, собирает некоторые данные для formdata и отправляет formrequest на ajax запрос.
Апи возвращает список товаров с некоторыми другими параметрами, такими как количество страниц в категории всего. По-другому получить количество страниц нельзя.
Вопрос, как написать паука так, чтобы он с response категории отправил запрос в апи, получил количество страниц и сгенерировал нужное количество запросов (меняя для каждого из них в formdata параметр номера страницы).
источник

К

Кирилл in Scrapy
Сделать цикл?
источник

AR

Andrey Rahmatullin in Scrapy
inline_requests проще всего
источник

Д

Данил in Scrapy
Кирилл
Сделать цикл?
Зайти в категорию -> Сгенерировать на основе ее страницы параметры для FormRequest -> Получить результат, вычленить количество страниц -> Сгенерировать на основе параметров со страницы категории и количества страниц запросы для скачки всех товаров со всех страниц
источник

К

Кирилл in Scrapy
И в чем проблема?
источник

Д

Данил in Scrapy
Кирилл
И в чем проблема?
Привязка каждого ajax запроса к странице
источник

Д

Данил in Scrapy
Когда идет вызов запроса, он ведь уходит в один конец, верно?
источник

AR

Andrey Rahmatullin in Scrapy
это как?
источник

Д

Данил in Scrapy
Можно вернуть данные в метод, который его вызвал?
источник

AR

Andrey Rahmatullin in Scrapy
только с inline_requests
источник

Д

Данил in Scrapy
Спасибо
источник

Д

Данил in Scrapy
Andrey Rahmatullin
inline_requests проще всего
Какие есть методы?)
источник

AR

Andrey Rahmatullin in Scrapy
inline_requests
источник

AR

Andrey Rahmatullin in Scrapy
или вопрос про альтернативы?
источник

Д

Данил in Scrapy
Andrey Rahmatullin
inline_requests
еще методы*
источник

Д

Данил in Scrapy
Andrey Rahmatullin
или вопрос про альтернативы?
Ага
источник

AR

Andrey Rahmatullin in Scrapy
сунуть весь контекст в cb_kwargs
источник

AR

Andrey Rahmatullin in Scrapy
и делать следующие запросы из коллбэков, понятно дело
источник