Size: a a a

2020 April 08

AR

Andrey Rahmatullin in Scrapy
смотря как лежит и что хочется в итоге получить
источник

q

quavo in Scrapy
Andrey Rahmatullin
смотря как лежит и что хочется в итоге получить
Так, с этим разобрался вроде
Но сейчас проблема возникла, что он выдает мне вообще левые блоки как потомков тех блоков, которые я ищу
Возможно контент с сайта криво приходит
источник

МС

Михаил Синегубов in Scrapy
ты внутри цикла с точки xpath начинаешь?
источник

q

quavo in Scrapy
Михаил Синегубов
ты внутри цикла с точки xpath начинаешь?
нет
у мееня есть div и только в нем есть блоки article
//div[@role='main']//article
такой xpath
но почему-то у некоторых элементов article он выдает элементы потомки, которые даже не в div role='main' находятся
источник

МС

Михаил Синегубов in Scrapy
потому что, нужен относительный путь, относительный будет, примерно такой
```.//div[@role='main']//article```
у тебя абсолютный, и ищет по всей странице

в цикле перебираются не куски старинцы, а указатели на элементы
источник

q

quavo in Scrapy
Так у меня только в этом блоке div role='main'  article элементы и их нет нигде больше
А он почему-то выдает детей этих элементов те элементы, которых там нет
т.е. которые находятся просто ниже  блока role='main'
источник

МС

Михаил Синегубов in Scrapy
дай адрес страницы
по другому, это обсуждение сферического коня в вакууме
источник

Д

Данил in Scrapy
Приветствую. Подскажите, какие есть варианты из scrapy + puppeteer сделать бинарник? Хочется скрыть исходный код от заказчика.
источник

q

quavo in Scrapy
Никаких
источник

Д

Данил in Scrapy
quavo
Никаких
Понятно(
источник

q

quavo in Scrapy
Ну есть костыли типа пинсталлеров, но это просто архив
источник

q

quavo in Scrapy
Михаил Синегубов
дай адрес страницы
по другому, это обсуждение сферического коня в вакууме
Я в принципе разобрался, просто по индексам достаю
Оно того не стоит тратить на это время, чтобы во время итерации распаковывать )
источник

q

quavo in Scrapy
А такой вопрос? У меня есть блок, в котором есть текст без тегов и некоторое количество потомков
Как мне получить только этот текст ? Скорее всего надо получить текст до потомка? Так вроде можно
источник

AR

Andrey Rahmatullin in Scrapy
просто берёшь текст элемента
источник

q

quavo in Scrapy
Вроде брал
Может не так что делал, проверю)
источник

q

quavo in Scrapy
Просто он выдает текст и из потомков
источник

К

Кирилл in Scrapy
Где html?  где твой код? Мы не экстрасенсы
источник

AR

Andrey Rahmatullin in Scrapy
quavo
Просто он выдает текст и из потомков
значит определённо не так делал
источник

Д

Данил in Scrapy
Нужно прорендерить страничку, но чет не могу разобраться с тем, как поставить scrapy splash без докера. В faq написано - "Ставится Splash (удобно в Docker)". Подскажите, как поставить без него? Конкретных инструкций не нашел.
источник

К

Кирилл in Scrapy
Открываешь докер файл и читаешь как он устанавливается
источник