Size: a a a

2019 July 31

Y

Yurii in Scrapy
Пока я это не сделаю не могу обратиться к айтему в пайплайне
   def file_path(self, request, response=None, info=None):
       # item=request.meta['item'] # Like this you can use all from item, not just url.
       item=request.meta['item']
       print(item)
       image_guid = request.url.split('/')[-1]
       return 'full/%s' % (image_guid)
источник

Y

Yurii in Scrapy
Так то впринципе все работает  только хз как инфо добавить картинке
источник

i

ildar in Scrapy
я вот не понял почему у тебя пишет что сигнатуры такой нет если эти None убрать, а в их доке это сделано:
https://i.imgur.com/clZFLWo.png
источник

i

ildar in Scrapy
похоже их надо сверху откуда-то передавать
источник

Y

Yurii in Scrapy
ildar
я вот не понял почему у тебя пишет что сигнатуры такой нет если эти None убрать, а в их доке это сделано:
https://i.imgur.com/clZFLWo.png
Если убрать то картинки не сохраняет и в исходниках написано
def file_path(self, request, response=None, info=None):
       image_guid = hashlib.sha1(to_bytes(request.url)).hexdigest()
       return 'full/%s.jpg' % (image_guid)
источник

Y

Yurii in Scrapy
Не могут быть аргументы именованными и нет одновременно  или как?
источник

i

ildar in Scrapy
а в описании написано так: https://i.imgur.com/Nkz2Doz.png
источник

i

ildar in Scrapy
т.е. туда что-то можно передать, и это не обязательно None
источник

i

ildar in Scrapy
тока я очень редко работал с pipelines и не знаю как это сделать
источник

Y

Yurii in Scrapy
info=info
источник

i

ildar in Scrapy
кстати, для scrapy 1.7.1 в патчноутсах пишут что де исправили конкретно какие-то вопросы в image pipeline, а именно
https://github.com/scrapy/scrapy/issues/2253
источник

i

ildar in Scrapy
источник

i

ildar in Scrapy
т.е. как раз те места где ты бродишь
источник

i

ildar in Scrapy
или просто в доки добавили это
источник

i

ildar in Scrapy
а вот как раз там спрашивает парень, что вот эта штука без None не работает щас:
https://github.com/scrapy/scrapy/pull/3609#pullrequestreview-201488960
источник

i

ildar in Scrapy
источник

Y

Yurii in Scrapy
Наверное скрапи не может по умолчанию добавлять мета инфу к картинкам и нужны дополнительные извращения
Ладно, едем дальше)
источник

s

serhii in Scrapy
источник

К

Кирилл in Scrapy
Познавательно... Спасибо
источник

s

serhii in Scrapy
ну в принципе, если коротко, то автор говорит, что требуй письменного соглашения на то, что собственник разрешает себя парсить, использовать данные и тд, ставь делай в 15 сек и уважай робот тхт
источник