i
передавать файлы cookie внутри заголовков?
нет, это не сработает в текущий момент, про это пометка есть Caution в доках смотри. Тут в параметрах https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request
Size: a a a
2020 November 04
Fc
import scrapy
import logging
from scrapy.http.request import Request
class PreliveSpider(scrapy.Spider):
name = "prelive"
start_urls = [
'https://www.scorebing.com/fixtures']
def request(self,callback):
cookies = {'utz':'-10800','utzn':'America/Fortaleza'}
request = Request.cookies(url=url,callback=callback,cookies=cookies)
return request
def start_requests(self):
for url in self.start_urls:
yield Request(url,self.parse)
def parse(self, response):
for jogo in response.css("table.diary-table tbody tr"):
liga = jogo.css('td a::text')[0].get()
comeca_em = jogo.css('td::text').get()
home = str(jogo.css('td a::text')[1].get()).strip()
guest = jogo.css('td a::text')[2].get()
data = {
'Liga':liga,
'Começa Em':comeca_em,
'Home':home,
'Guest':guest,
}
print(data)
Fc
с моим текущим кодом я вызываю функцию >>> scrapy runspider main.py
Я думаю, это приводит к тому, что созданные мной методы запроса игнорируются, поскольку я выполняю свой код другим способом.
Я думаю, это приводит к тому, что созданные мной методы запроса игнорируются, поскольку я выполняю свой код другим способом.
Fc
извиняюсь
A
👍
Fc
Andrii
Смена в куки у меня работает
как ты это сделал здесь
Fc
Я нашел решение
Мне понравилось это
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url,self.parse,cookies={'utz':'-10800','utzn':'America/Fortaleza'})
Мне понравилось это
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url,self.parse,cookies={'utz':'-10800','utzn':'America/Fortaleza'})
S
есть такой сайт: www.machinefinder.com
чтобы получить параметры трактора делаю:
Request(f'https://www.machinefinder.com/ww/en-US/machines/{res_id}/details'...
но есть проблема, эта страница начинает существовать только после того как заходишь из браузера на страницу товара.
Я так понял там какой-то запрос после которого параметры можно получить, но перетыкал все запросы в постмене ничего не вышло всегда 404, а как только зайду с браузера в постмене сразу json отдаёт
чтобы получить параметры трактора делаю:
Request(f'https://www.machinefinder.com/ww/en-US/machines/{res_id}/details'...
но есть проблема, эта страница начинает существовать только после того как заходишь из браузера на страницу товара.
Я так понял там какой-то запрос после которого параметры можно получить, но перетыкал все запросы в постмене ничего не вышло всегда 404, а как только зайду с браузера в постмене сразу json отдаёт
OS
Всем привет! Кто-то озон парсит?
B
Всем привет! Кто-то озон парсит?
кто-то парсит 🙂 Лучше сразу вопрос
OS
кто-то парсит 🙂 Лучше сразу вопрос
вёрстка или апи?
S
что я делаю не так?
SPLASH_URL = 'http://localhost:8050'сплеш стоит на убунте wsl
[scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET https:... via http://localhost:8050/render.html> (failed 1 times): Connection w
as refused by other side: 10061: Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение..
B
проверь оно рзвернулось на
http://localhost:8050/render.html ?S
проверь оно рзвернулось на
http://localhost:8050/render.html ?сделал
http://localhost:8050/render.html?url=google.com