Size: a a a

2020 March 23

МС

Михаил Синегубов in Scrapy
Вопрос - а что должно быть конечным результатом
источник

МС

Михаил Синегубов in Scrapy
И не забывай, что в айтем у тебя может быть весь джисон
источник

СТ

Семён Трояновский in Scrapy
Несколько периодически перезаписывающихся json файлов
источник

К

Кирилл in Scrapy
1. Обычный json пайплайн подойдет
2. Для тебя, адекватно. Ты с бд очень много времени потратишь. Так что вариантов особо нет
источник

СТ

Семён Трояновский in Scrapy
Ну я хочу попробовать для практики потом базу данных, но по факту мне она конечно не особо нужна пока
источник

AR

Andrey Rahmatullin in Scrapy
Курл в крон
источник

МС

Михаил Синегубов in Scrapy
Andrey Rahmatullin
Курл в крон
+
Тем более, если каждый файл=запрос
источник

СТ

Семён Трояновский in Scrapy
Andrey Rahmatullin
Курл в крон
можно ссылку где про это дело почитать ?)
источник

AR

Andrey Rahmatullin in Scrapy
Ээ
источник

AR

Andrey Rahmatullin in Scrapy
Даже не знаю что ответить
источник

К

Кирилл in Scrapy
man curl
источник

G

Genadyi in Scrapy
Парни как из виндвс сервера сделать 10-100 проксей
источник

AR

Andrey Rahmatullin in Scrapy
Никак?
источник

S

Sergey in Scrapy
Andrey Rahmatullin
Курл в крон
Может у него винда, тогда не в крон, а забыл как эта штука в винде называется
источник

AR

Andrey Rahmatullin in Scrapy
И не курл, а мс скачиватель про
источник

К

Кирилл in Scrapy
Тогда нужно установить линукс (
источник

МС

Михаил Синегубов in Scrapy
https://curl.haxx.se/windows/

вроде дергает под виндой.... :)
источник

B

Bulatbulat48 in Scrapy
планировщик задач на сколько помню называется
источник

S

Sergey in Scrapy
Bulatbulat48
планировщик задач на сколько помню называется
Во
источник

A

Andrii in Scrapy
Михаил Синегубов
ребят, вы ...лять о чем тут перетираете, в какие, нафиг, файлы и хидеры?
# -*- coding: utf-8 -*-
import scrapy
import json


class ParserSpider(scrapy.Spider):
   name = 'corona_parser'
   start_urls = ['https://coronavirus.zone/data.json']

   def parse(self, response):
       raw_data = response.text
       data = json.loads(raw_data)
       for rec in data:
           yield {
               'region': rec['region'],
               'cases': rec['cases'],
               'deaths': rec['death']
           }
А какая разница брать response.body или response.text?
источник