VZ
спасибо большое!
Size: a a a
2020 April 25
2020 April 26
A
Vladislav Zadorozhnii
Ребят, натолкнулся на проблему, пробовал парсить yelp.com и словил бан. Не получалось подключить user_agent и proxy, я решил попробовать ROBOTSTXT_OBEY = False и видимо после 150 запросов начал получать 503 ошибку. Что в таких ситуациях можно сделать, подскажите пожалуйста?
Покажи скрипт, как не получалось подкрутить юзер-агента?
AБ
что за хрень, не могу получить доступ ни к одному элементу здесь
AБ
AБ
Делаю фул x path к любому элементу и селениум ничего не видит
FG
for item in response.xpath('//div[@class="items_div"]'):
link = item.xpath('//a[@class="Link_here"]/@href').extract()
print(link)
Как сделать так чтобы он по одному вытаскивал link а не весь список кидал мне?FG
?
AR
поменять extract() на extract_first() (точнее на get())
AR
и поменять абсолютный путь в xpath на относительный
AR
т.е. // убрать или поменять на .// в зависимости от того что надо
FG
Спасибо работает
FG
как сделать так чтобы если он не нашел нужный путь то не было экзепшена а просто он забил и дальше парсил?
FG
Faginator Gerasimov
for item in response.xpath('//div[@class="items_div"]'):
link = item.xpath('//a[@class="Link_here"]/@href').extract()
print(link)
Как сделать так чтобы он по одному вытаскивал link а не весь список кидал мне?если это в пример брать
AR
его и так не будет
AБ
почему этот объект селениум находит
AБ
AБ
AБ
А этот нет?
AБ
driver.find_elements_by_xpath('/html/body/div/div[1]/div[1]')
[<selenium.webdriver.remote.webelement.WebElement (session="594b2bc159c603660d77cbb976fdfdfe", element="0b9c7624-5a88-45d5-b3f4-689231b0d4b9")>, <selenium.webdriver.remote.webelement.WebElement (session="594b2bc159c603660d77cbb976fdfdfe", element="c2011f95-7425-4b34-97f7-5716291bcd04")>]
driver.find_elements_by_xpath('/html/body/div/div[1]/div[1]/a')
[]AБ
Селекторы вообще нефига не ищутся