S
Size: a a a
2021 April 06
NZ
слушай, я понял как надо, спасибо :) В общем мне же надо просто сделать связь между страницей что я справил и каким-то айдишником, буду просто в одном столбце хранить урл с которого спарсил, а все действия буду делать по айдишнику (UID какой-нибудь сгенерю)
МС
еще раз и, желательно, по русски
AR
конечно\
AR
yield from response.follow_all(css='a') хехе
AR
никогда так не делал
МС
эээ, ну так пройди по ним....
NZ
rules = (
Rule(LinkExtractor(allow=r'.*'), callback='parse_item', follow=True),
)
Rule(LinkExtractor(allow=r'.*'), callback='parse_item', follow=True),
)
AR
ну или так
МС
тока, вроде, можно
Rule(LinkExtractor(), callback='parse_item', follow=True),
AR
ну да, allow и так пустой
i
учти тока, есть некоторые сайты, по всем страницам которого ты не сможешь пройти, даже если ограничен доменом, даже если ограничен глубиной прохода 8, к примеру. Например, сайты американских универов. Даже если дашь какой-то линк "в глубине", потому-что для парсера не очевидно, где у сайта "низ"
NZ
Если это сообщение мне, то единственное что есть уникальное на странице это url, всё остальное может поменяться
NZ
как такое возможно если ограничение по домену?