Size: a a a

2020 March 14

B

Bulatbulat48 in Scrapy
🎱
if next_page is not None and next_page[-1] != '3'

а есть у скрапи какой нибудь удобный метод, который позволял бы отслеживать страницу и если страница такая-то, то дальше не переходить?

делаю как выше, но это глупый подход, уверен есть изящный способ.
Думаю if next_page is not None можно упростить до if next_page
источник

К

Кирилл in Scrapy
Наверное можно упростить до CrawlSpider)
источник

🎱

🎱 in Scrapy
Кирилл
Наверное можно упростить до CrawlSpider)
Это как?)
источник

🎱

🎱 in Scrapy
Bulatbulat48
Думаю if next_page is not None можно упростить до if next_page
Можно)
источник

🎱

🎱 in Scrapy
Кирилл
Наверное можно упростить до CrawlSpider)
Пойду читать доку))
источник

К

Кирилл in Scrapy
🎱
Пойду читать доку))
Хороший ответ)
источник
2020 March 15

(

(o_O) in Scrapy
🎱
if next_page is not None and next_page[-1] != '3'

а есть у скрапи какой нибудь удобный метод, который позволял бы отслеживать страницу и если страница такая-то, то дальше не переходить?

делаю как выше, но это глупый подход, уверен есть изящный способ.
DEPTH_LIMIT?
источник

G

Genadyi in Scrapy
Пользовался кто? https://pypi.org/project/faster-than-requests/ реально работает?
источник

S

Sergey in Scrapy
Нет, но интересно
источник

МС

Михаил Синегубов in Scrapy
Человеки, web.archive.org, есть какакие подводные булыжники? А то на первый взгляд как то уж слишком просто...
источник

B

Bulatbulat48 in Scrapy
Михаил Синегубов
Человеки, web.archive.org, есть какакие подводные булыжники? А то на первый взгляд как то уж слишком просто...
Не должно быть, его часто парсят
источник

EB

Elisei Badanin in Scrapy
у них и апи есть...
источник

А

Александр in Scrapy
Кто может помочь с парсингом?
источник

К

Кирилл in Scrapy
Все могут. Задавай вопросы
источник

А

Александр in Scrapy
Сайт спарсить надо 🙂 на солько реальная задача?
источник

А

Александр in Scrapy
ну точнее инфу
источник

К

Кирилл in Scrapy
Александр
Сайт спарсить надо 🙂 на солько реальная задача?
источник

К

Кирилл in Scrapy
@Bulatbulat48 Нужно сделать правила публикации заказа, чтоб сайт был, бюджет и т.д.
источник

B

Bulatbulat48 in Scrapy
Кирилл
@Bulatbulat48 Нужно сделать правила публикации заказа, чтоб сайт был, бюджет и т.д.
в другом чате нужно сделать?
источник

К

Кирилл in Scrapy
Да, а то сам видишь: нужно сайт парсить. А что за сайт?  Такой-то. А что спарсить?  И то и это.  А сколько платишь?
источник