В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

710 membersпожаловаться на группу
2020 November 24

B

Bulatbulat48 in Scrapy
Илья
next_page = response.css('li.next a::attr(href)').get()
       if next_page is not None:
           yield response.follow(next_page, self.parse)
вот так в туториале, он просто проверяет кнопку на страничке. А если  у меня нет кнопок вообще. Автоподгрузка при скролле на странице стоит. Мне нужно знать есть ли следующая страница
если автоподгрузка, то это XHR нужно смотреть
источник
10:18пожаловаться#1

И

Илья in Scrapy
Да, я тоже заметил. Официальная документация. Видимо, чтобы понятнее было.
источник
10:54пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
не то же, и вряд ли ругается
источник
11:22пожаловаться#3

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
не то же, и вряд ли ругается
Надо поробовать, может я попутал
источник
11:23пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
не вижу смысла пробовать, bool(x) и x is Foo это явно разные вещи
источник
11:23пожаловаться#5
2020 November 25

KM

Konstantin Maiorov in Scrapy
Добрый день! Кто нибудь реализовывал свой бэкенд для хранения кэша?
Задача: хранить в body только нужный кусок кода, чтобы минимизировать расход места на диске.
Проблема: в метод store_response респонс приходит уже в байтовом виде и никаким образом не удается его корректно декодировать. Ни to_unicode ни body.decode корректно не декодируют, оригинал хотя в utf-8
источник
09:06пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Зачем декодировать, пиши байты на диск
источник
09:07пожаловаться#7

KM

Konstantin Maiorov in Scrapy
Чтобы весь сайт записать нужно очень много места. Я хочу только нужный кусок кода страницы хранить в кеше
источник
09:08пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
А, тебе их процессить сначала
источник
09:09пожаловаться#9

KM

Konstantin Maiorov in Scrapy
Да
источник
09:09пожаловаться#10

AR

Andrey Rahmatullin in Scrapy
Тогда не понимаю что значит не получается декодировать
источник
09:09пожаловаться#11

KM

Konstantin Maiorov in Scrapy
Ну мне надо ведь где-то response обработать, а он приходит уже во всех методах в байтовом
источник
09:10пожаловаться#12

KM

Konstantin Maiorov in Scrapy
Или где я должен обрезать его
источник
09:10пожаловаться#13

KM

Konstantin Maiorov in Scrapy
Не в самом спайдере же
источник
09:10пожаловаться#14

KM

Konstantin Maiorov in Scrapy
В httpcache_middleware тоже в байтовом уже
источник
09:12пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
я не понимаю что такое уже
источник
09:22пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
респонс приходит туда как и всюду, обычный scrapy.http.Response, и разумеется он байтовый, как от сервера пришёл
источник
09:23пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
(и разумеется его байтовость в колбэках людям проблем не доставляет)
источник
09:24пожаловаться#18

KM

Konstantin Maiorov in Scrapy
В коллбэках уже htmlresponse
источник
09:25пожаловаться#19

KM

Konstantin Maiorov in Scrapy
Там вообще проблем никаких нет
источник
09:26пожаловаться#20