Телеграмм чат группы scrapy

Size: a a a

Scrapy

861 membersпожаловаться на группу

2021 May 24

(

(o_O) in Scrapy

Код CrawlSpider простой, почитай

источник

12:13пожаловаться #1

Stanislav in Scrapy

упс. [{'page': 'https://metalloprokat-nsk.pulscen.ru/catalog/k-1029344-elektrody_svarochnyye', 'name_prod': 'Вольфрамовые электроды WP, WT-20, WY-20, WZ-8, WL-20, WC-20, W
L-15', 'description': 'Купить вольфрамовые_электроды Вы всегда можете в ПКФ "Айсберг АС" в наличии

metalloprokat-nsk.pulscen.ru

Электроды сварочные, цена в Новосибирске от компании ПКФ Айсберг АС в г. Новосибирск

Каталог с актуальными ценами и наличием: Электроды сварочные в Новосибирске. Прайс-лист компании ПКФ Айсберг АС в г. Новосибирск.

источник

12:14пожаловаться #2

Stanislav in Scrapy

я просто проверил указав response.xpath("//div[@class='plil-content plil-description']/div[@class='title- js-title-']/a/@title").extract()

источник

12:14пожаловаться #3

Stanislav in Scrapy

и в отввет получил то что список продуктов

источник

12:15пожаловаться #4

МС

Михаил Синегубов... in Scrapy

В описании группы ссыль на группу по работе, кидай туда сообщение

источник

12:58пожаловаться #5

(

(o_O) in Scrapy

Как в Splash делать нечто вроде puppeteer.Page.waitForSelector?

источник

13:57пожаловаться #6

Andrey Rahmatullin in Scrapy

Вроде только wait в цикле с проверкой

источник

14:11пожаловаться #7

Vlad Belov in Scrapy

Снимок экрана от 2021-05-24 17-37-49.png

(29.07 Кб)

Всем привет
Во время парсинга натолкнулся на то, что спайдер парсит будто бы не всю страницу, а только до какого-то элемента

Он парсит все, что есть в первом элементе, но после этого будто бы не видит продолжение страницы и соотв-но содержимое второго элемента и далее

С чем мб связано? как решить?

источник

17:47пожаловаться #8

(

(o_O) in Scrapy

Сильно невалидный хтмл

источник

17:49пожаловаться #9

SoHard 🎄 in Scrapy

сохрани страницу на диск открой и будет видно

источник

17:49пожаловаться #10

(

(o_O) in Scrapy

например </body> раньше конца документа

источник

17:50пожаловаться #11

Bashir Gaitukiev in Scrapy

Можете пожалуйста подсказать. Я взял с сайта данные json, однако поле "datetime" имеет непонятные цифры(они шифруют дату,как я понял). В общем как преобразовать эти 10 цифр в дату, в виде ,к примеру, "23 мая" ?

источник

17:50пожаловаться #12

Bashir Gaitukiev in Scrapy