Телеграмм чат группы scrapy

Кирилл

думаю ты писал селекторы на классах?

да, xpath еще не трогал. Но подучу по позже

ты не путай давай

css и xpath

классы можно и там и там использовать

14:51пожаловаться #4

Кирилл in Scrapy

в селекторах основывайся на html elements, а не на их классах

14:52пожаловаться #5

🎱

Кирилл

думаю ты писал селекторы на классах?

неправильно прочитал. Да, на классах

14:53пожаловаться #6

🎱

Кирилл

в селекторах основывайся на html elements, а не на их классах

спасибо за подсказку

14:53пожаловаться #7

🎱

странно, амазон меняет верстку ккаждый день? вчера писал селекторы а сегодня они уже невалидные. JS отключал перед инспектом

Да

15:44пожаловаться #8

В старых проектах по пять селекторов видел

15:44пожаловаться #9

А ещё он в списках отдаёт разное общее количество итемов на разных страницах, это вообще жопа

15:45пожаловаться #10

🎱

и как приходится с таким работать?

16:33пожаловаться #11

🎱

Andrey Rahmatullin

В старых проектах по пять селекторов видел

жестть)

16:34пожаловаться #12

Ну либо ретрай, либо никак

16:34пожаловаться #13

🎱

if next_page is not None and next_page[-1] != '3'

а есть у скрапи какой нибудь удобный метод, который позволял бы отслеживать страницу и если страница такая-то, то дальше не переходить?

делаю как выше, но это глупый подход, уверен есть изящный способ.

19:08пожаловаться #14

Кирилл in Scrapy

Зачем не переходить?

19:09пожаловаться #15

🎱

ну, например мне нужно до 5 страницы спарсить