М
Size: a a a
2020 December 03
2020 December 04
К
Традиционный вечерний вопрос по архитектуре! Какой кошерный метод выгружать итемы во внешнюю БД? Чтобы не ломал неблокирующую архитектуру скрапи. peewee и sqlalchemy из коробки блокирующие, как я понимаю, и в лучшем случае заведутся под asyncio реактором.
Используй или
deferToThread(), или куда-то в очередь пихай чтоб в другом месте сохранилосьD
Вот тут посмотрел: https://docs.scrapy.org/en/latest/_modules/scrapy/pipelines/files.html
МС
Получается мне нужен айтем на каждую характеристику на английском и внутри словарь для перевода каждой характеристики?
1. просканить заранее сайт и захардкорить характеристики
2. парсить в промежуточный файл/базу по принципу key-value потом конвертить в нужный формат
2. парсить в промежуточный файл/базу по принципу key-value потом конвертить в нужный формат
МС
это, если что, варианты, а не шаги действий :)
1
т.е боль пользования скрапи?)
Получается собирать данные в словари, кидать в отдельный файл, потом пройтись по всем ключам и таким образом сделать заголовки. Я не могу представить пока всеравно запись данных т.к. в csv ведь надо учитывать все заголовки и там где пустые поля оставлять пустую ячейку.. может надо поспать и снова попробовать просто)
Спасибо
Получается собирать данные в словари, кидать в отдельный файл, потом пройтись по всем ключам и таким образом сделать заголовки. Я не могу представить пока всеравно запись данных т.к. в csv ведь надо учитывать все заголовки и там где пустые поля оставлять пустую ячейку.. может надо поспать и снова попробовать просто)
Спасибо
МС
т.е боль пользования скрапи?)
Получается собирать данные в словари, кидать в отдельный файл, потом пройтись по всем ключам и таким образом сделать заголовки. Я не могу представить пока всеравно запись данных т.к. в csv ведь надо учитывать все заголовки и там где пустые поля оставлять пустую ячейку.. может надо поспать и снова попробовать просто)
Спасибо
Получается собирать данные в словари, кидать в отдельный файл, потом пройтись по всем ключам и таким образом сделать заголовки. Я не могу представить пока всеравно запись данных т.к. в csv ведь надо учитывать все заголовки и там где пустые поля оставлять пустую ячейку.. может надо поспать и снова попробовать просто)
Спасибо
а при чем тут скрапи? тебе любой софт/фрейморк ничего не сможет делать. В любом случае как то костылить придется
К
т.е боль пользования скрапи?)
Получается собирать данные в словари, кидать в отдельный файл, потом пройтись по всем ключам и таким образом сделать заголовки. Я не могу представить пока всеравно запись данных т.к. в csv ведь надо учитывать все заголовки и там где пустые поля оставлять пустую ячейку.. может надо поспать и снова попробовать просто)
Спасибо
Получается собирать данные в словари, кидать в отдельный файл, потом пройтись по всем ключам и таким образом сделать заголовки. Я не могу представить пока всеравно запись данных т.к. в csv ведь надо учитывать все заголовки и там где пустые поля оставлять пустую ячейку.. может надо поспать и снова попробовать просто)
Спасибо
Может быть не использовать csv, если он плохо подходит под твой формат?