(
А селектор пагинации правильный? (Я с мобилки, проверить не могу)
Size: a a a
2021 May 23
BG
ты иммешь ввиду next_page? да он берет ссылку
BG
BG
но он берет ссылку на текущую страницу
BG
а не на следущую
(
Угу
BG
я не смог взять ссылку на следующую(( поэтому и воспользовался этим инкрементированием page
(
Тогда в теле функции инкрементируй и ссылку создавай для follow
(
А проще сделай не get() а getall() и follow в цикле по всем ссылкам
BG
спасибо, сейчас буду пробовать
G
также ты можешь написать что-то вроде:
start_urls = [f"https://examle.com/page/{str(i+1)}" for i in range(600)]
что бы сразу запросить все страницы. Но тогда будь готов к тому что из-за ранее упомянутой асинхронности Scrapy порядок вывода страниц не будет последовательным (например данные со страницы 200 могут быть получены до страницы 30)BG
спасибо 🙏
AR
И надо заранее знать количество страниц
BG
это мы знаем, 541 страница))
AR
Это сейчас
SS
Не подскажете что еще можно использовать для тестирования Scrapy проекта? Планируется до 350 пауков схожих по функционалу.
Сейчас в проекте есть:
1. spidermon - валидация item'ов, мониторинг работы пауков
2. scrapy-autounit - тестирование пауков
3. scrapy contracts - проверять изменился ли сайт
4. pytest - тестирование pipelines, base spiders
Сейчас в проекте есть:
1. spidermon - валидация item'ов, мониторинг работы пауков
2. scrapy-autounit - тестирование пауков
3. scrapy contracts - проверять изменился ли сайт
4. pytest - тестирование pipelines, base spiders
A
Всем привет. Кто-то работал с uule=a+cm9 (гугл локейшен), а то у меня чет только с Асашай работает коректно
AR
Не понял, тебе конвертер надо?
A
конвертор написал, но вот он то работает то нет :(
A
https://www.google.com/search?q=where+am+i&hl=en&gl=US&uule=a+cm9sZToxCnByb2R1Y2VyOjEyCnByb3ZlbmFuY2U6Ngp0aW1lc3RhbXA6MTYyMTc4NTY5Mjc5MwpsYXRsbmd7CmxhdGl0dWRlX2U3OjQxODU2MjMzOApsb25naXR1ZGVfZTc6LTg3NjQzMzE4Nwp9CnJhZGl1czo5MzAwMA