Size: a a a

2021 May 23

A

Andrii in Scrapy
Знач динамически
источник

BG

Bashir Gaitukiev in Scrapy
я так понял эти новости грузятся откудато с помощью js
источник

BG

Bashir Gaitukiev in Scrapy
++
источник

(

(o_O) in Scrapy
Вот это парси
curl 'https://xn--90adear.xn--p1ai/news/region?perPage=20&page=1&region=77' -H 'x-requested-with: xmlhttprequest'
источник

(

(o_O) in Scrapy
$ curl -s 'https://xn--90adear.xn--p1ai/news/region?perPage=20&page=1&region=77' -H 'x-requested-with: xmlhttprequest' | jq | head -20
{
 "data": [
   {
     "id": 24328258,
     "title": "Сотрудники Госавтоинспекции Северного округа столицы присоединились к 6-й Глобальной неделе безопасности дорожного движения",
     "description": "<p><em>Сотрудники ГИБДД УВД по САО ГУ МВД России по г. Москве совместно с начальником ОСсоСМИ УВД по САО ГУ МВД России по г. Москве подполковником внутренней службы Натальей Анашкиной провели занятия ...<br /></em></p>",
     "text": null,
     "image": "//static.mvd.ru/upload/site78/document_news/dorogi_dlya_zhizni_SAO_foto_(1).jpg",
     "datetime": 1621785600,
     "documents": [],
     "author": {
       "name": "asevastianova4"
     },
     "region": {
       "code": 77,
       "name": "Москва (г)"
     }
   },
   {
     "id": 24328211,
источник

AR

Andrey Rahmatullin in Scrapy
Именно
источник

AR

Andrey Rahmatullin in Scrapy
источник
2021 May 24

A

Andrii in Scrapy
Хелоу, Может кто-то помочь с теми вебсокетами? уже все выходные голову ломал, ничего не получилось
источник

A

Andrii in Scrapy
источник

S

Stanislav in Scrapy
Привет . подскажите смысл записи [scrapy.core.engine] DEBUG: Crawled (200) <GET https://metalloprokat-nsk.pulscen.ru/catalog/k-1029344-elektrody_svarochnyye> (referer: https://metalloprokat-nsk.pulscen.ru/catalog)
источник

S

SoHard 🎄 in Scrapy
Там всё по сути написано
источник

S

Stanislav in Scrapy
Если есть возможность разжуйте для идиотов или направьте на нужную главу в документации
источник

(

(o_O) in Scrapy
выполнен запрос метод GET на url..., заголовок referer ...
источник

S

Stanislav in Scrapy
200 в скобках это ответ что запрос прошел успешно ?
источник

(

(o_O) in Scrapy
да, http status = 200
источник

C

Come Back in Scrapy
Привет. Кто может сделать парсер видео из тик тока без водяного знака?
источник

S

Stanislav in Scrapy
Сильно не пинайте:  тк каталог большой и структура его несколько запутанна решил попробовать использовать CrawlSpider. если я правильно понимаю он должен используя правила которые я ему задаю собрать страницы и их пропарсить.  Что получилось: из 400 тыс.  выдал только 300 пропарсенных страниц. Те которые не пропарсил в логе отмечаются Crawled (200) <GET https://metalloprokat-nsk.pulscen.ru/catalog/k-1029344-elektrody_svarochnyye> (referer: https://metalloprokat-nsk.pulscen.ru/catalog).  Я первый раз пишу парсер используя scrapy.  В каком направлении разбирать почему не собраны товары?
источник

(

(o_O) in Scrapy
Проверяй селекторы в scrapy shell на проблемных url
источник

S

Stanislav in Scrapy
проверил все совпадают
источник

(

(o_O) in Scrapy
callback в Rule верный?
источник