Телеграмм чат группы scrapy

class MySpider(scrapy.Spider):
name = 'myspider'

custom_settings = {
'SOME_SETTING': 'some value',
}

и тут вмсто локальной константы - та из сеттинга

источник

18:11пожаловаться #7

К

Кирилл in Scrapy

наверное есть более хороший способ, но можно просто импорт сделать

from ..settings import

или через from_crawler

источник

18:13пожаловаться #8

EV

Elena V in Scrapy

from ..settings import FOO
'FOO' is not defined

источник

18:16пожаловаться #9

B

Bulatbulat48 in Scrapy

Elena V

from ..settings import FOO
'FOO' is not defined

from scrapy.utils.project import get_project_settings

settings=get_project_settings()
print settings.get('BOT_NAME’)

источник

18:27пожаловаться #10

EV

Elena V in Scrapy

Только что нашла это на qaru

Именно то, что нужно

источник

18:33пожаловаться #11

EV

Elena V in Scrapy

Спасибо

источник

18:33пожаловаться #12

Y

Yurii in Scrapy

Загружаю картинки с использованием такого кода. Нужно добавить название картинкам(я так понимаю метаинфо содержится в урле картинок) Что-то не получается и item['images'] не заполняется, идет пустой список. Пример брал отсюда https://stackoverflow.com/questions/6194041/scrapy-image-download-how-to-use-custom-filename/6196180
https://pastebin.com/w1Pfa3M4

Stack Overflow

Scrapy image download how to use custom filename

For my scrapy project I'm currently using the ImagesPipeline. The downloaded images are stored with a SHA1 hash of their URLs as the file names.

How can I store the files using my own custom file ...

источник

21:38пожаловаться #13

2019 July 31

i

ildar in Scrapy

Yurii

Загружаю картинки с использованием такого кода. Нужно добавить название картинкам(я так понимаю метаинфо содержится в урле картинок) Что-то не получается и item['images'] не заполняется, идет пустой список. Пример брал отсюда https://stackoverflow.com/questions/6194041/scrapy-image-download-how-to-use-custom-filename/6196180
https://pastebin.com/w1Pfa3M4

Stack Overflow

Scrapy image download how to use custom filename

For my scrapy project I'm currently using the ImagesPipeline. The downloaded images are stored with a SHA1 hash of their URLs as the file names.

How can I store the files using my own custom file ...

а какой из ответов ты юзал?

источник

02:32пожаловаться #14

Y

Yurii in Scrapy

ildar

а какой из ответов ты юзал?

Вообще делаю так
https://pastebin.com/w1Pfa3M4
3 вопроса:
- как в file_path передать item['image_name'](название я в пауке получил)
- как сделать чтобы генерировало данные item['images'] (при настройках по умолчанию они генерятся)
- как извлечь из url картинки метаинфу и подставить в file_path
Смотрю на пример с 16 голосами
Непонятны закоменченые записи потипу:
#item=request.meta['item'] # Like this you can use all from item, not just url.

Pastebin

[Python] # -*- coding: utf-8 -*- from scrapy.pipelines.images import ImagesPipeline i - Pastebin.com