DD
а по поводу xpath подскажете?
Size: a a a
2019 July 23
МС
а по поводу xpath подскажете?
1. там вроде точка в нале должна быть, или не?
2. вроде же должно выглядеть offer.xpath("/a[contains(@class, 'discount-text-link')]").extract_first()
вообще, я такое в пичарме дебажу пошагово, начинаешь понимать в чем ты нубятская нубятины :))
2. вроде же должно выглядеть offer.xpath("/a[contains(@class, 'discount-text-link')]").extract_first()
вообще, я такое в пичарме дебажу пошагово, начинаешь понимать в чем ты нубятская нубятины :))
DD
1. там вроде точка в нале должна быть, или не?
2. вроде же должно выглядеть offer.xpath("/a[contains(@class, 'discount-text-link')]").extract_first()
вообще, я такое в пичарме дебажу пошагово, начинаешь понимать в чем ты нубятская нубятины :))
2. вроде же должно выглядеть offer.xpath("/a[contains(@class, 'discount-text-link')]").extract_first()
вообще, я такое в пичарме дебажу пошагово, начинаешь понимать в чем ты нубятская нубятины :))
ты имеешь ввиду ./a ?
МС
угу, но не уверен, я сам в этом плаваю
DD
нет, я пробовал)
2019 July 24
МС
нет, я пробовал)
дай ссыль на страничку
DD
дай ссыль на страничку
.// Надо было писать)
K
Приветствую. Прошу помочь. Парсю сайт магазина, все нормально, но не могу сохранить все картинки каждого товара. Картинок от 1-10, кидаю их в лист и потом через zip в [item[18]], сохраняет только первую картинку, в листе они все присутствуют, pipeline пробовал стандартный и кастомный. Не могу сейчас кинуть код, пишу с телефона
МС
Приветствую. Прошу помочь. Парсю сайт магазина, все нормально, но не могу сохранить все картинки каждого товара. Картинок от 1-10, кидаю их в лист и потом через zip в [item[18]], сохраняет только первую картинку, в листе они все присутствуют, pipeline пробовал стандартный и кастомный. Не могу сейчас кинуть код, пишу с телефона
погодь, какой zip? ты же в айтем должен список передать
МС
точнее, список ссылок на картинки
B
.// Надо было писать)
from scrapy import Selector
body = '<html><body><div id="1"><a>url1</a></div><div id="2"><a>url2</a></div><body></html>'
Selector(text=body)
Out[12]: <Selector xpath=None data=u'<html><body><div id="1"><a>url1</a></div'>
for node in Selector(text=body).css('div'):
print(node.css('::text').get())
url1
url2
в этом плане
css проще) а так да . нужна если используется xpath. Еще один плюс чтобы перейти на css. Разница в xpath между .// и ./, что первый будет искать ниже по дереву.K
погодь, какой zip? ты же в айтем должен список передать
В zip кладу переменные с данными по товару их там штук 20 набралось, включая картинки, потом в цикле раскладываю в item[1] по item[20], далее все пишу в mysql, кроме картинок, которые должен записать в каталог
K
from scrapy import Selector
body = '<html><body><div id="1"><a>url1</a></div><div id="2"><a>url2</a></div><body></html>'
Selector(text=body)
Out[12]: <Selector xpath=None data=u'<html><body><div id="1"><a>url1</a></div'>
for node in Selector(text=body).css('div'):
print(node.css('::text').get())
url1
url2
в этом плане
css проще) а так да . нужна если используется xpath. Еще один плюс чтобы перейти на css. Разница в xpath между .// и ./, что первый будет искать ниже по дереву.Спасибо за вариант. Я всю инфу вытаскиваю из скрипта
МС
эээ, не фига не понял, если честно. зачем таки танцы с бубном. Так что код нужен....
оно там всегда легко качало. Когда всякие заморочки с именами/путями нужны, тогда да, надо чуть повозиться...
оно там всегда легко качало. Когда всякие заморочки с именами/путями нужны, тогда да, надо чуть повозиться...
K
эээ, не фига не понял, если честно. зачем таки танцы с бубном. Так что код нужен....
оно там всегда легко качало. Когда всякие заморочки с именами/путями нужны, тогда да, надо чуть повозиться...
оно там всегда легко качало. Когда всякие заморочки с именами/путями нужны, тогда да, надо чуть повозиться...
Доберусь до компа, скину код
B
Всем привет. Ребят, у меня будет несколько вопросов, подскажите плз:
1) на сайте в куки добавляется токен. Как вы ищете обычно запрос, которые генерирует его? F12 -> Network -> и смотрите что возвращают запросы?
2) Вопрос по поводу xpath:
for offer in response.xpath("//div[contains(@itemprop, 'makesOffer')]"):
тут я открыл цыкл, и каждый элемент - это оффер который мне нужен. Проверял, все работает. Но я хочу получить его название, я принтую:
print(offer.xpath("/a[contains(@class, 'discount-text-link')]"))
но в итоге оно мне возвращает None. Почему? если использовать // - то вернёт название первого офера на странице, это логично. Но почему / не находит в нужном оффере уже это? Я так понимаю, что / используется чтобы идти исключительно только вглубь селектора, котороый ты выбрал. Мб я что-то делаю не так, подскажите плз. Я просто хочу в цыкле получить название каждого оффера. Спасибо
1) на сайте в куки добавляется токен. Как вы ищете обычно запрос, которые генерирует его? F12 -> Network -> и смотрите что возвращают запросы?
2) Вопрос по поводу xpath:
for offer in response.xpath("//div[contains(@itemprop, 'makesOffer')]"):
тут я открыл цыкл, и каждый элемент - это оффер который мне нужен. Проверял, все работает. Но я хочу получить его название, я принтую:
print(offer.xpath("/a[contains(@class, 'discount-text-link')]"))
но в итоге оно мне возвращает None. Почему? если использовать // - то вернёт название первого офера на странице, это логично. Но почему / не находит в нужном оффере уже это? Я так понимаю, что / используется чтобы идти исключительно только вглубь селектора, котороый ты выбрал. Мб я что-то делаю не так, подскажите плз. Я просто хочу в цыкле получить название каждого оффера. Спасибо
правой кнопкой в дебеггере хрома влючи set cookies
DD
Там идёт запрос на гугловский домен, и на нём появляются куки. Не у компа сейчас, не смогу сказать точный урл(
Но спасибо
Но спасибо
G
сетятся == в каком запроси они появились?
Да