Телеграмм чат группы scrapy

Size: a a a

Scrapy

833 membersпожаловаться на группу

2021 April 08

Andrey Rahmatullin in Scrapy

но у меня беда с этим, я всё время открываю три страницы доки рядом и пытаюсь нужный в данный момент апи там найти

источник

09:59пожаловаться #1

Alex in Scrapy

Есть возможность конверта строки в html-фрагмет и обратно, что в некоторых случаях бывает очень полезно

источник

09:59пожаловаться #2

Alex in Scrapy

В наших скрапинг-случаях из всего апи по большей части нужен только xpath. Всё остальное специфично и если нужно работать с xml. Скорость обработки у lxml высокая, правда не знаю, как обстоят дела с этим в parsel.

источник

10:04пожаловаться #3

МС

Михаил Синегубов... in Scrapy

ну, судя по всему, парсель достаточно дубовенькая обертка над lxml. "Дубовая", в данном контексте, подразумевает отсутствие всяких "умных и полезных плюшек", которые дублируют корневой функционал, типа soup.title.parent.name и прочего

скорость... можно, конечно, озадачится тестом, а оно надо? :)

источник

10:31пожаловаться #4

Andrii in Scrapy

Кстати про скрапи и не скрапи, описание одного проекта:

5) Please DO NOT use Scrapy or Selenium.
6) You can use any other library ( lxml , beautifulsoup, cssselector or any other parsing libraries, requests, proxy handlers etc).

источник

10:53пожаловаться #5

МС

Михаил Синегубов... in Scrapy

ну, мне одни сказали "да ты чёё, никакого xpath, только css и ничего более".
приходилось костыли городить...

источник

10:55пожаловаться #6

SoHard 🎄 in Scrapy

ну тут еще вменяемо +/-

источник

10:58пожаловаться #7

Andrey Rahmatullin in Scrapy