Size: a a a

2019 July 13

s

serhii in Scrapy
Roman V
> Та скрапи не большой, ни надо никакого видео.
Уверенность начинающих - предмет зависти профессионалов :)
Ну если найдёте что-то в видео, чего нет в документации, изменю свое мнение
источник

AB

A B in Scrapy
что-то я не разберусь, как работать с items. возможно совсем глупая ситуация, в items.py я создал класс:
class Foo(scrapy.Item):
   product = scrapy.Field()


в своём пауке я импортнул Foo и ItemLoader, в parse делаю вот такую минимальную попытку:
l = ItemLoader(item=Foo(), response=response)
l.add_value('product', 'nothing')
yield l.load_item()


ну и обосрался, конечно, вот трейсбак: https://pastebin.com/TdyZkKyH
источник

AB

A B in Scrapy
хотя отбой, посаны, затупил и у меня в Foo была переопределена инициализация объекта
источник

s

serhii in Scrapy
A B
хотя отбой, посаны, затупил и у меня в Foo была переопределена инициализация объекта
👍
источник

AB

A B in Scrapy
я правильно понимаю, что через ItemLoader add_css всегда добавляется список, а уже где-то в другом месте мне из него данные в божеский вид приводить будет надо? ну например раскрывать список с одним элементом в одно единственное значение. кстати где?
источник

s

serhii in Scrapy
A B
я правильно понимаю, что через ItemLoader add_css всегда добавляется список, а уже где-то в другом месте мне из него данные в божеский вид приводить будет надо? ну например раскрывать список с одним элементом в одно единственное значение. кстати где?
Takefirst есть для этого
источник

s

serhii in Scrapy
A B
я правильно понимаю, что через ItemLoader add_css всегда добавляется список, а уже где-то в другом месте мне из него данные в божеский вид приводить будет надо? ну например раскрывать список с одним элементом в одно единственное значение. кстати где?
Или свой обработчик напиши
источник

AB

A B in Scrapy
serhii
Takefirst есть для этого
можешь пример привести.
источник

AB

A B in Scrapy
я пробовал такое:
l.add_css(key, css, lambda x: x[0])
, но это не работает так.
источник

VP

Valera Pupkin in Scrapy
Как обходить капчу, где надо нажать на галочку или картинку перетащить?
источник

s

serhii in Scrapy
A B
я пробовал такое:
l.add_css(key, css, lambda x: x[0])
, но это не работает так.
источник

AB

A B in Scrapy
fucking nice! я этот пасаж как-то мимо глаз пропустил.
источник

s

serhii in Scrapy
A B
fucking nice! я этот пасаж как-то мимо глаз пропустил.
Не за что. Хотя... В факе видишь репу? Можешь пр отправить с объяснением проблемы и её решением. Так сказать бест практисы собираются этого чата. В любом случае пр приветствуются
источник

AB

A B in Scrapy
да я ещё пока тыкаюсь с процессорами.
источник
2019 July 14

JW

John Wayne in Scrapy
Вопрос по xpath, есть div с h3 и p внутри, если взять все h3 и p, пара в конце будут лишними, Как взять все с начала, до h3 тега с определенным значением?
источник

B

Bulatbulat48 in Scrapy
John Wayne
Вопрос по xpath, есть div с h3 и p внутри, если взять все h3 и p, пара в конце будут лишними, Как взять все с начала, до h3 тега с определенным значением?
Может contains?
источник

RV

Roman V in Scrapy
https://www.w3schools.com/xml/xpath_axes.asp
'//h3[contains(text(),"...")]/preceding-sibling::*'
источник

JW

John Wayne in Scrapy
//h3[contains(text(),"Характеристики:")]/preceding-sibling::*
Близко, вот только выше, есть ul/li и в них тоже нужно заглянуть
источник

JW

John Wayne in Scrapy
Поэтому ищу что то типа, //div[@class="отец"]//*взять все и в глубь [до этого h3[contains(.,"Характеристики:")]]
источник
2019 July 15

РТ

Ренат Турсунбаев in Scrapy
Народ, такая ситуация: есть пагинация, при просмотре исходного кода любой страницы выдаётся один и тот же код (первой страницы). Что это и как это обойти?
источник