Не слушай ну там в хэдерс всякая полезная инфа для сайта

Типа user agent и так далее

Он нужен чтобы правильно сыммитировать запрос

Да, но в моем случае это не нужно. Так то да, этр довольна важная инфа

Ну конкретно в твоём случае, если это просто один раз один сайт, можно было даже и паука не писать )

Просто открыть полную ссылку запроса и вручную сохранить json))

Да, это я уже понял. Просто изначально я даже не знал, что сайт работает на JS. Я думал, что это защита от парсинга

ребят, вы ...лять о чем тут перетираете, в какие, нафиг, файлы и хидеры?

# -*- coding: utf-8 -*-
import scrapy
import json


class ParserSpider(scrapy.Spider):
    name = 'corona_parser'
    start_urls = ['https://coronavirus.zone/data.json']

    def parse(self, response):
        raw_data = response.text
        data = json.loads(raw_data)
        for rec in data:
            yield {
                'region': rec['region'],
                'cases': rec['cases'],
                'deaths': rec['death']
            }

Да, уже пробовал

все нормально работает, без никаких извращений,
и да, там на самом деле response.text

так в чем вопрос?

Уже не в чем. Все решили. Спаисбо

# -*- coding: utf-8 -*-
import scrapy
import json


class ParserSpider(scrapy.Spider):
    name = 'corona_parser'
    start_urls = ['https://coronavirus.zone/data.json']

    def parse(self, response):
        raw_data = response.text
        data = json.loads(raw_data)
        for rec in data:
            yield {
                'region': rec['region'],
                'cases': rec['cases'],
                'deaths': rec['death']
            }

ну моя идея была в том что зачем пересобирать циклом json если он итак уже идёт нормальный

Просто пересохранить его и все

1. Зачем сохранять
2. Зачем тогда скрапи
3. На самом деле, можно и сайта JS'ом таскать, не думаю, что такая уж дикая нагрузка добавится

Ну в общем да, конкретно в этом случае можно и просто сохранить вручную )

можно то, что Остину (или как его там) нужно, а все остальное, нафиг никому не впилось
(сорян, утро понедельника, во мне сейчас 100500 Зартов сидят 😂)

Да, все ок ) я сам ещё начинаю только изучать, не в курсе всех сертифицированных практик, ну вроде у него получилось все и отлично )

😂

подскажи плз, если допустим у меня задача собирать json'ы такими как они есть, то есть их структура и контент меня вполне устраивают, но их много и нужно чтобы они парсились с некоторой периодичностью, при таких вводных данных идея написать кастомный пайплайн на сохранение item в json адекватна или это тоже будет извращение?)