Телеграмм чат группы scrapy

2019 September 22

s

https://ru.stackoverflow.com/questions/1026719/%d0%a7%d1%82%d0%be-scrapy-%d1%81%d0%be%d0%b7%d0%b4%d0%b0%d0%b5%d1%82-%d0%bb%d0%b8%d1%88%d0%bd%d0%b5%d0%b5-%d0%b2-middlewares-py-%d0%bf%d0%be%d1%81%d0%bb%d0%b5-%d0%ba%d0%be%d0%bc%d0%b0%d0%bd%d0%b4%d1%8b-startproject - можете помочь разобраться с мидлварями? которые создаются после инициализации проекта?

Stack Overflow на русском

Что Scrapy создает лишнее в middlewares.py после команды startproject?

scrapy startproject test_project создает скрапи проект, этот проект имеет разные файлы.

➜ tree test_project
test_project
├── scrapy.cfg
└── test_project
├── __init__.py
├── ...

К

https://ru.stackoverflow.com/questions/1026719/%d0%a7%d1%82%d0%be-scrapy-%d1%81%d0%be%d0%b7%d0%b4%d0%b0%d0%b5%d1%82-%d0%bb%d0%b8%d1%88%d0%bd%d0%b5%d0%b5-%d0%b2-middlewares-py-%d0%bf%d0%be%d1%81%d0%bb%d0%b5-%d0%ba%d0%be%d0%bc%d0%b0%d0%bd%d0%b4%d1%8b-startproject - можете помочь разобраться с мидлварями? которые создаются после инициализации проекта?

Stack Overflow на русском

Что Scrapy создает лишнее в middlewares.py после команды startproject?

scrapy startproject test_project создает скрапи проект, этот проект имеет разные файлы.

➜ tree test_project
test_project
├── scrapy.cfg
└── test_project
├── __init__.py
├── ...

Можешь удалить этот код или весь файл, он для примера.
Но вообще, лучше читать документацию перед вопросами, т.к. В след раз тебе скорее всего не ответят на такие вопросы

источник

10:23пожаловаться #2

s

serhii in Scrapy

Кирилл

Можешь удалить этот код или весь файл, он для примера.
Но вообще, лучше читать документацию перед вопросами, т.к. В след раз тебе скорее всего не ответят на такие вопросы

на английском СО любят еще срзу минусовать =) и голосовать за закрытие.

источник

10:24пожаловаться #3

К

Кирилл in Scrapy

И правильно делают) если человеку лень почитать доку и он не ценит время других, то к нему и отношение такое

источник

10:26пожаловаться #4

s

serhii in Scrapy

не согласен.
всме есть в доках, тогда вообще можно закрыть ресурс

источник

10:28пожаловаться #5

s

serhii in Scrapy

посмотри на вопросы, которые собирают тысячи плюсов
как добавить элемент в список в питоне - норм вопрос? на несколько тысяч плюсов.

источник

10:28пожаловаться #6

К

Кирилл in Scrapy

Хз я в такие вопросы не захожу обычно

источник

10:29пожаловаться #7

s

serhii in Scrapy

здесь в чатике тоже, добрая пловина вопросов о том, что есть в доках.

К

здесь в чатике тоже, добрая пловина вопросов о том, что есть в доках.

Ага! Так ты их читаешь значит

К

Вот ты и попался

10:31пожаловаться #10

2019 September 23

JW

John Wayne in Scrapy

Люди, подскажите, в начале паука есть инит там открываются файлы, из которых достаются ссылки на парсинг. Также есть айтем пайплайн который сохраняет в csv. Нужно чтобы, имя открытого файла в ините, передавалось в имя сохраняемого файла в пайплайне, отсюда вопрос что первее, custom_settings в пауке или init?

источник

20:57пожаловаться #11

К

Кирилл in Scrapy

John Wayne

Люди, подскажите, в начале паука есть инит там открываются файлы, из которых достаются ссылки на парсинг. Также есть айтем пайплайн который сохраняет в csv. Нужно чтобы, имя открытого файла в ините, передавалось в имя сохраняемого файла в пайплайне, отсюда вопрос что первее, custom_settings в пауке или init?

Сохрани это имя в свойство паука self.export_path, а потом в вставь в экспорт паз как %(export_path)s

источник

21:00пожаловаться #12

К

Кирилл in Scrapy

https://doc.scrapy.org/en/latest/topics/feed-exports.html#storage-uri-parameters

источник

21:01пожаловаться #13

JW

John Wayne in Scrapy

Кирилл

Сохрани это имя в свойство паука self.export_path, а потом в вставь в экспорт паз как %(export_path)s

Что то не выходит, вот код если не сложно взгляните
https://pastebin.com/CuCweks4
Я не понимаю вот это %(export_path)s какая то спец контструкция?

источник

22:06пожаловаться #14

К

Кирилл in Scrapy

John Wayne

Что то не выходит, вот код если не сложно взгляните
https://pastebin.com/CuCweks4
Я не понимаю вот это %(export_path)s какая то спец контструкция?

Я же скинул примеры из доки

источник

22:24пожаловаться #15

К

Кирилл in Scrapy

self.file_name = "path"

custom_settings = {
 'FEED_URI': '%(file_name)s'
}

источник

22:27пожаловаться #16

К

Кирилл in Scrapy

Только придумай что-то насчет того цикла, иначе будет только 1 файл

источник

22:28пожаловаться #17

V

Victor in Scrapy

Кто-то может помочь нормальные пост запросы делать?

источник

22:29пожаловаться #18

V

Victor in Scrapy

Или я не по адресу?

источник

22:29пожаловаться #19

К

Кирилл in Scrapy

Victor

Кто-то может помочь нормальные пост запросы делать?

Конкретные вопросы задавай

источник

22:29пожаловаться #20