i
Size: a a a
2020 November 10
СК
так что поддержка деления на батчи должна быть
МС
да. Если запускаю из консоли командой типа:
scrapy crawl movies -o "%(batch_id)d-filename%(batch_time)s.jl"
scrapy crawl movies -o "%(batch_id)d-filename%(batch_time)s.jl"
а почему тебе не перенести это все в настройки - пробовал?
AR
типа FEED_URI="%(batch_id)d-filename%(batch_time)s.jl"
нормально начнет резать?
нормально начнет резать?
да при чём тут резать, ему бы чтоб просто файл создавался
AR
хотя бы
МС
и есть же настройка
FEED_EXPORT_BATCH_ITEM_COUNT
FEED_EXPORT_BATCH_ITEM_COUNT
МС
почему не захардкорить?
СК
и есть же настройка
FEED_EXPORT_BATCH_ITEM_COUNT
FEED_EXPORT_BATCH_ITEM_COUNT
ставлю. Не работает. Сосбтвенно с чего и начал вопрос
МС
ты куда ставил? в настройки?
AR
СК
ты куда ставил? в настройки?
да
СК
типа FEED_URI="%(batch_id)d-filename%(batch_time)s.jl"
нормально начнет резать?
нормально начнет резать?
нет
МС
Settings
These are the settings used for configuring the feed exports:
FEEDS (mandatory)
FEED_EXPORT_ENCODING
FEED_STORE_EMPTY
FEED_EXPORT_FIELDS
FEED_EXPORT_INDENT
FEED_STORAGES
FEED_STORAGE_FTP_ACTIVE
FEED_STORAGE_S3_ACL
FEED_EXPORTERS
а в 2,3,1 есть FEED_URI?
These are the settings used for configuring the feed exports:
FEEDS (mandatory)
FEED_EXPORT_ENCODING
FEED_STORE_EMPTY
FEED_EXPORT_FIELDS
FEED_EXPORT_INDENT
FEED_STORAGES
FEED_STORAGE_FTP_ACTIVE
FEED_STORAGE_S3_ACL
FEED_EXPORTERS
а в 2,3,1 есть FEED_URI?
МС
попробуй просто настроить FEEDS, там, по идее, все просто
i
я для себя пока делаю по-старому, нашел какой-то древний ненужный паук, задаю в settings.py:
FEED_URI = 'file:///' + my.base_dir + BOT_NAME + '/out_%(batch_time)s.csv'
FEED_EXPORT_BATCH_ITEM_COUNT=100
FEED_URI = 'file:///' + my.base_dir + BOT_NAME + '/out_%(batch_time)s.csv'
FEED_EXPORT_BATCH_ITEM_COUNT=100
i
а оно мне пишет:
[scrapy.extensions.feedexport] ERROR: %(batch_time)s or %(batch_id)d must be in the feed URI (file:///c:/prjprog/a/iherb/out.csv) if FEED_EXPORT_BATCH_ITEM_COUNT setting or FEEDS.batch_item_count is specified and greater than 0. For more info see: https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-export-batch-item-count
[scrapy.extensions.feedexport] ERROR: %(batch_time)s or %(batch_id)d must be in the feed URI (file:///c:/prjprog/a/iherb/out.csv) if FEED_EXPORT_BATCH_ITEM_COUNT setting or FEEDS.batch_item_count is specified and greater than 0. For more info see: https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-export-batch-item-count
СК
поставил в настройка:
при запуске из консоли scrapy crawl crawler_name бьется нормально. Но при запуске из scrapyd файлов с резуьтатами нет
FEED_EXPORT_BATCH_ITEM_COUNT = 100
FEED_URI = "%(batch_id)d-filename%(batch_time)s.jl"
при запуске из консоли scrapy crawl crawler_name бьется нормально. Но при запуске из scrapyd файлов с резуьтатами нет