Size: a a a

2019 August 20

A

AstralRomance in Scrapy
Да.
источник

М

Мак in Scrapy
response.xpath('//*[contains(@class, "search")]/text()').get()
источник

М

Мак in Scrapy
или // перед text() если данные на другой строке
источник

A

AstralRomance in Scrapy
Находит почти то что нужно.
источник

М

Мак in Scrapy
ну я не вижу что у тебя за ДОМ там... может там классов search куча еще сначала
источник

A

AstralRomance in Scrapy
Вообще, там еще 8 элементов перед этим или типа того.
источник

М

Мак in Scrapy
AstralRomance
Вообще, там еще 8 элементов перед этим или типа того.
если нужны все - значит сделай цикл и перебирай их. если только один - сделай getall() и вытащи нужный по номеру элемента
источник

A

AstralRomance in Scrapy
O
источник

A

AstralRomance in Scrapy
Вот за это спасибо, я оттуда просто буду вытаскивать все, что с символом $
источник

М

Мак in Scrapy
банзай
источник

A

AstralRomance in Scrapy
И буду счастлив, доволен и вообще.
Спасибо за помощь.
источник

К

Кирилл in Scrapy
AstralRomance
Вот хочу я достать данные из такого элемента сайта:
<td class="deckdbbody search_results_9">

Вот этот тег я взял из того, что получил из павука. Дальше делаю как в доке, но когда я пытаюсь выполнить:
response.css("td.deckdbbody search_results_9")
|
Возвращается пустой список. Что со мной не так?
search_results_9 без точки, а значит ты ищешь не клас, а тэг
источник

A

AstralRomance in Scrapy
Хочу ссылки для парсинга передавать из другого места (бота)

    def set_link(self, link):
       self.link = link

   def start_requests(self):
       for url in list(self.link):
           yield scrapy.Request(url=url, callback=self.parse)
Сделал так, но от этого кода пованивает говной. Или я могу просто атрибуту url присваивать значение моего линка?
источник

К

Кирилл in Scrapy
AstralRomance
Хочу ссылки для парсинга передавать из другого места (бота)

    def set_link(self, link):
       self.link = link

   def start_requests(self):
       for url in list(self.link):
           yield scrapy.Request(url=url, callback=self.parse)
Сделал так, но от этого кода пованивает говной. Или я могу просто атрибуту url присваивать значение моего линка?
Просто присваивай любой итерируемый объект в start_urls
источник

М

Мак in Scrapy
Бывает
источник

EK

Eugeny K in Scrapy
Здравствуйте господа. Может кто то видел примерчик как скрапить facebook по ключевому предварительно залогинившись
источник

B

Bulatbulat48 in Scrapy
Eugeny K
Здравствуйте господа. Может кто то видел примерчик как скрапить facebook по ключевому предварительно залогинившись
В гитхабе попробуй поиск сделать
источник

B

Bulatbulat48 in Scrapy
AstralRomance
Хочу ссылки для парсинга передавать из другого места (бота)

    def set_link(self, link):
       self.link = link

   def start_requests(self):
       for url in list(self.link):
           yield scrapy.Request(url=url, callback=self.parse)
Сделал так, но от этого кода пованивает говной. Или я могу просто атрибуту url присваивать значение моего линка?
Можно передавать через meta
источник

МС

Михаил Синегубов in Scrapy
Eugeny K
Здравствуйте господа. Может кто то видел примерчик как скрапить facebook по ключевому предварительно залогинившись
а FB не лочит по частоте запросов? Просто, если так, то вытекает "надо ротатор аккаунтов прикручивать"
источник

АП

Агент Печенька in Scrapy
Лочит.
источник