B
в settings
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}Size: a a a
2018 July 09
B
B
B
class MyItem(scrapy.Item):
# ... other item fields ...
image_urls = scrapy.Field()
images = scrapy.Field()
B
добавляешь два поля
B
и из паука в items передаешь ссылку вроде как
B
for img_url in json_resp:
l = ItemLoader(item=MyItem(), response=response)
l.add_value('image_urls', img_url['photo_604'])
yield l.load_item()
B
вообщем все просто)
B
а если кастомизировать нужно то крутишь это дело в
pipelines.pyB
class MyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
return [scrapy.Request(x, meta={'image_name': str(item['accession'][0]) + '/' + 'prt_' + x.split('/')[-4]})
for x in item.get('image_urls', [])]
def file_path(self, request, response=None, info=None):
return '%s.jpg' % request.meta['image_name']
B
например вот так
B
надо какой-нить реп завести с faq-ом )
B
типа как у беггинерсов)
DD
хД
DD
я requests-ом качал
там надо использовать какой-то User agent, если я не ошибаюсь
B
там надо использовать какой-то User agent, если я не ошибаюсь
ну в реквестс он идет по дефолту, но и в скрапи есть scrapy.request вроде как
B
@ebadanin можно встроенным scrapy.request делать запрос?
AS
я в тестах делал))
AS
думаю можно
AS
from scrapy.http import HtmlResponse, Request, TextResponse
scrapy_request = Request(
product_url,
headers={'meta': meta},
callback=spider.parse_product_page
)
scrapy_response = TextResponse(
product_url,
body=response.content,
request=scrapy_request
)
scrapy_response.meta['item'] = meta['item']
yield spider.parse_product_page(scrapy_response)