Size: a a a

2020 March 23

СТ

Семён Трояновский in Scrapy
попробуй вот так переписать
источник

СТ

Семён Трояновский in Scrapy
def parse_stats(self, response):
       raw_data = response.body
       data = json.loads(raw_data)
       with open('corona2.json', 'w') as f:
           json.dump(data, f)
источник

СТ

Семён Трояновский in Scrapy
в итоге получишь тот самый json который пришел по request
источник

СТ

Семён Трояновский in Scrapy
мб это как-то изящнее можно сделать )
источник

СТ

Семён Трояновский in Scrapy
при таком варианте вызывать соответственно без feed export
источник

🎅B

🎅 Austin Bluethy in Scrapy
Семён Трояновский
def parse_stats(self, response):
       raw_data = response.body
       data = json.loads(raw_data)
       with open('corona2.json', 'w') as f:
           json.dump(data, f)
Так я беру этот файл из интернета, а не из папки
источник

🎅B

🎅 Austin Bluethy in Scrapy
Мне ответили, но я еще не проверял
источник

СТ

Семён Трояновский in Scrapy
я понимаю )
источник

🎅B

🎅 Austin Bluethy in Scrapy
Мне нужен цикл
источник

СТ

Семён Трояновский in Scrapy
Да, можно и так, но ты по сути получается будешь пересоздавать структуру json файла который у тебя итак уже есть
источник

🎅B

🎅 Austin Bluethy in Scrapy
Мне его нужно просто разбить на нормальную таблицу, но я хз, как это сделать
источник

СТ

Семён Трояновский in Scrapy
Так json уже идёт структурированный
источник

🎅B

🎅 Austin Bluethy in Scrapy
Если я его просто скопирую, то получится не очень
источник

СТ

Семён Трояновский in Scrapy
Короче если заменишь код в своей функции parse_stats на тот что я скинул - получишь норм json по идее)
источник

СТ

Семён Трояновский in Scrapy
Там уже смотри сам пойдет тебе такое или нет )
источник

🎅B

🎅 Austin Bluethy in Scrapy
Хорошо, сейчас попробую
источник

🎅B

🎅 Austin Bluethy in Scrapy
Семён Трояновский
def parse_stats(self, response):
       raw_data = response.body
       data = json.loads(raw_data)
       with open('corona2.json', 'w') as f:
           json.dump(data, f)
Аа, только снйчас дошло, что тут создается файл
источник

🎅B

🎅 Austin Bluethy in Scrapy
Спасибо, получилось спарсить
источник

СТ

Семён Трояновский in Scrapy
Ну это я так на скорую руку набрал код, вообще писать в файл из паука наверное не самая приличная практика )
источник

🎅B

🎅 Austin Bluethy in Scrapy
Мне уажется тут headers вообще нафиг не нужен. Просто сделать запрос на json файл, получить его и спарсить
источник