Size: a a a

2020 November 03

A

Andrii in Scrapy
И у них прокси для скрапинга тупо есть
источник

S

SoHard 🎄 in Scrapy
Михаил Синегубов
Ты злой бабайка для них, прокси для парсига использовал 😱😱😵.
Этот же так неожиданно...
Но как я понял это он спама и тд. страхуются
источник

Fc

Felipe caridade in Scrapy
Здравствуйте, у меня есть скрипт, который берет все игры с сайта https://www.scorebing.com/fixtures

но часовые пояса мешают возврату данных времени, есть ли способ изменить часовой пояс scrapy?
Я также попытался использовать запрос с параметром cookie «utzn»: America / Fortaleza, и это не сработало.
источник

МС

Михаил Синегубов... in Scrapy
Felipe caridade
Здравствуйте, у меня есть скрипт, который берет все игры с сайта https://www.scorebing.com/fixtures

но часовые пояса мешают возврату данных времени, есть ли способ изменить часовой пояс scrapy?
Я также попытался использовать запрос с параметром cookie «utzn»: America / Fortaleza, и это не сработало.
а что мешает перевести время на нужный часовой пояс? К примеру, ко всем значениям +3 часа
источник

Fc

Felipe caridade in Scrapy
Михаил Синегубов
а что мешает перевести время на нужный часовой пояс? К примеру, ко всем значениям +3 часа
игры имеют разный часовой пояс для каждой игры, и на веб-сайте нет информации о часовом поясе, но в правом верхнем углу вы можете увидеть место для изменения часового пояса, поэтому я подумал, что можно передать 'utzn' в качестве параметра
источник

Fc

Felipe caridade in Scrapy
если вы примените один и тот же часовой пояс ко всем, конечный результат будет неправильным в большинстве игр
источник

МС

Михаил Синегубов... in Scrapy
Cookie: utz=-28800; utzn=America%2FTijuana
источник

МС

Михаил Синегубов... in Scrapy
обе куки пробовал передать?
источник

Fc

Felipe caridade in Scrapy
да, в моем случае

utz:"-10800"
utz:'America/Fortaleza'
источник

A

Andrii in Scrapy
Ем... Не знал что сервер знает время юзвера
источник

Fc

Felipe caridade in Scrapy
в этом случае я думаю, что он не знает, на самом деле он просто просит вас выбрать часовой пояс для расчета времени игры с вашим часовым поясом, но поскольку у каждой игры есть свой часовой пояс, а веб-сайт не предоставляет, нет никакого способа узнать эту часть из часового пояса я обнаружил, что они делают вычисления внутри своих файлов javascript, однако было невозможно прочитать и полностью понять
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Ем... Не знал что сервер знает время юзвера
как минимум IP пользователя, как максимум, HTTP может сказать твой часовой пояс
ну и, не забываем про JS и прочую срань
источник

Fc

Felipe caridade in Scrapy
Михаил Синегубов
как минимум IP пользователя, как максимум, HTTP может сказать твой часовой пояс
ну и, не забываем про JS и прочую срань
в яблочко
источник

A

Andrii in Scrapy
Смена в куки у меня работает
источник

A

Andrii in Scrapy
utz=36000; utzn=Asia%2FVladivostok
источник

Fc

Felipe caridade in Scrapy
что ты использовал
источник

Fc

Felipe caridade in Scrapy
Мне понравилось это

import scrapy
import logging
class PreliveSpider(scrapy.Spider):

   name = "prelive"
   
   start_urls = [
   'https://www.scorebing.com/fixtures']
   
   def request(self,callback):
       request = Request(url=url,callback=callback)
       request.cookies['utzn'] = 'America/Fortaleza'
       request.cookies['utz'] = '-10800'
       return request

   def start_requests(self):
       for url in  self.start_urls:
           yield Request(url,self.parse)


   def parse(self, response):
       for jogo in response.css("table.diary-table tbody tr"):
           liga = jogo.css('td a::text')[0].get()
           comeca_em = jogo.css('td::text').get()
           home = str(jogo.css('td a::text')[1].get()).strip()
           guest = jogo.css('td a::text')[2].get()
           data = {
               'Liga':liga,
               'Começa Em':comeca_em,
               'Home':home,
               'Guest':guest,
           }
           print(data)
источник

Fc

Felipe caridade in Scrapy
даже если поменять ' ' на " " ничего не изменится
источник

A

Andrii in Scrapy
Зачем реквест мучать? Добав хедерс в старт реквест, строку кукис и туда две таймзон
источник

Fc

Felipe caridade in Scrapy
передавать файлы cookie внутри заголовков?
источник