К
Наверное уже спрашивали, как сделать, чтобы поля в файл писались в нужном мне порядке, а не как скрапи решил? Точнее в том порядке, как они находятся в item
Size: a a a
2020 February 28
AR
Наверное уже спрашивали, как сделать, чтобы поля в файл писались в нужном мне порядке, а не как скрапи решил? Точнее в том порядке, как они находятся в item
о каком формате речь?
AB
Юзать питон 3.6 или odereddict
AB
Не?
AR
задать список столбцов
К
я буду рад всем костылям) а если в конфиге scrapyd отключить папку айтемов, есть ли возможность в scrapydweb указать эту папку? я смотрел конфиги scrapydweb чет не нашел такой возможности
Кстати, в scrapyd в html тоже папка хардкод, получается даже если в конфиге менять, интерфейсу будет всё равно
'<a href="/items/%s/%s/%s.jl">Items</a>' % (p.project, p.spider, p.job)RG
Кстати, в scrapyd в html тоже папка хардкод, получается даже если в конфиге менять, интерфейсу будет всё равно
'<a href="/items/%s/%s/%s.jl">Items</a>' % (p.project, p.spider, p.job)блин зачем портить жизнь, лучше бы ничего туда не харткодили. а брали параметры из настроек самого scrapy
RG
ну да, думал установлю scrapydweb и буду себе с админки все контролить и качать результат, типа как в скрепихабклауде. А чувствую и дальше прийдется на сервак лазать
RG
Можешь себе результат по ftp кидать
это где поситать?
RG
почитать
RG
Легче сразу же в бд записывать или сразу с этими данными делать то, что нужно. Или через телеграмм бота себе слать результат
Спасибо за совет! Да я думал о базе, но еще руки не дошли, в файлики быстрее как-то. В принципе у меня все пашет. Просто тут вопрос удобности именно в связке с панелькой scrapydweb