B
Спасибо всем за ответы, я приду домой сейчас и попробую все это.
Size: a a a
2020 November 30
ПА
Привет, подскажите как быть если нужен экспорт в яндексовский файл YML? Напрямую со скрэпи генерировать или сначала в базу данных и там уже как то его оттуда генерировать? У кого-нибудь есть опыт? Подскажите 🙂
МС
Привет, подскажите как быть если нужен экспорт в яндексовский файл YML? Напрямую со скрэпи генерировать или сначала в базу данных и там уже как то его оттуда генерировать? У кого-нибудь есть опыт? Подскажите 🙂
а данных много?
ПА
Да. 8-10 тысяч товаров.
AR
Напрямую
AR
Да. 8-10 тысяч товаров.
Это мало
OS
а если парсинг оборвётся? По новой маслать?
МС
ну, это мало. Можно и накопить в пайпе и сбросить. Это если надо собрать данные из кусочков.
если каждый айтем на выходе независимый, то по принципу записи в XML/JSON
если каждый айтем на выходе независимый, то по принципу записи в XML/JSON
МС
а если парсинг оборвётся? По новой маслать?
10 тыс? проще заново
AR
а если парсинг оборвётся? По новой маслать?
Как проще
ПА
Там нужно сначала всё собрать, а потом уже генерировать файл, там категории формируются в начале файла и по ID привязываются к товарам.
AR
AR
.jl и потом скриптом обработать
D
Все-таки в scrapy не хватает функционала синхронизации подреквестов. Еще один простой пример. В рамках парса мне нужно положить 100 товаров в корзину (отправить 100 POST реквестов) и потом разом спарсить всю корзину. Но проблема в том, что я могу спарсить всю корзину только тогда, когда все 100 реквестов выполнятся, что я никак не могу знать - после отправки под-реквестов они начинают жить своей жизнью.
A
Все-таки в scrapy не хватает функционала синхронизации подреквестов. Еще один простой пример. В рамках парса мне нужно положить 100 товаров в корзину (отправить 100 POST реквестов) и потом разом спарсить всю корзину. Но проблема в том, что я могу спарсить всю корзину только тогда, когда все 100 реквестов выполнятся, что я никак не могу знать - после отправки под-реквестов они начинают жить своей жизнью.
Допишите
AR
inline-requests
AR
пока никто не жаловался
AR
Если бы это было так просто, то это давно уже дописали бы. Там же внутри жуткий twisted сидит 😱
не в твистеде проблема, а в лайфсайкле реквестов