И
Это просто какие то странные двойные кавычки
Size: a a a
2020 November 23
A
http://www2.rio.rj.gov.br/multas/index.asp - как достать картинку капчи?)
2020 November 24
И
Как мне проверить работоспособность ссылки внутри паука? К примеру если ответ 200, то идём дальше, если 404 то заканчиваем.
B
Илья
Как мне проверить работоспособность ссылки внутри паука? К примеру если ответ 200, то идём дальше, если 404 то заканчиваем.
response.statusИ
Это текущей ссылки. А если у меня просто урл есть
И
как его запросить ?
AR
как обычно скрапи запрашивает страницы лол
AR
реквестом с коллбэком
B
свангую что нужен @inline_requests
AR
или логику перепродумать
МС
Илья
как его запросить ?
как говорил мэтр Матроскин "Что бы продать что то не нужное, надо сначала купить что то не нужное"©.
что бы получить ответ, надо его запросить. И да, скрапи, по умолчанию, фильтрует все что "не 200".
что бы получить ответ, надо его запросить. И да, скрапи, по умолчанию, фильтрует все что "не 200".
И
Написать метод который вернет respons.status и подсунуть его scrapy.Request(url, метод)?
AR
нет
B
Илья
Написать метод который вернет respons.status и подсунуть его scrapy.Request(url, метод)?
туториал смотрели? https://docs.scrapy.org/en/latest/intro/tutorial.html
или тут нужно что-то сложное?
или тут нужно что-то сложное?
B
if response.status == 404:
raise CloseSpider(‘404 error’)
обрабатывать в
def parse <— дефолтная функция колбекаИ
next_page = response.css('li.next a::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
вот так в туториале, он просто проверяет кнопку на страничке. А если у меня нет кнопок вообще. Автоподгрузка при скролле на странице стоит. Мне нужно знать есть ли следующая страница
if next_page is not None:
yield response.follow(next_page, self.parse)
вот так в туториале, он просто проверяет кнопку на страничке. А если у меня нет кнопок вообще. Автоподгрузка при скролле на странице стоит. Мне нужно знать есть ли следующая страница
B
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
if response.status == 404:
raise CloseSpider(‘404 error’)
И
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
if response.status == 404:
raise CloseSpider(‘404 error’)
понял, спасибо