A
ну для конкретного ТЗ нужно смотреть
Size: a a a
2020 October 23
A
что подходит
СТ
Andrii
ну для конкретного ТЗ нужно смотреть
саппорт у них только имэйлу?
СТ
Webshare
A
ну как то не стучал им
СТ
Andrii
ну как то не стучал им
ок, понял) 24-48 часов на ответ это конечно жоско
PA
Request meta not passing properly between methods, kindly help https://stackoverflow.com/questions/64510555/scrapy-meta-or-cb-kwargs-not-passing-properly-between-multiple-methods
AR
Check the logs to see what is actually downloaded and processed
AR
It also doesn't look related to meta or cb_kwargs in any way, especially as it seems related to the products var which you didn't explain, but I must note that this usage of meta and cb_kwargs is very strange and may easily have errors
i
Request meta not passing properly between methods, kindly help https://stackoverflow.com/questions/64510555/scrapy-meta-or-cb-kwargs-not-passing-properly-between-multiple-methods
maybe this is the case when you need to write **kwargs in parse function? Like def parse(self, response, **kwargs), and also in parse_by_category
for example, if I pass and call in some function
btw, what version of scrapy you use, why you using meta and cb_kwargs for same reason simultaneously?
for example, if I pass and call in some function
yield response.follow(link, self.parse_products, cb_kwargs={'depth1': depth1, 'depth2': depth2})
then there will be def parse_products(self, response, depth1, depth2): and I will able to use depth1 and depth2 inside parse_products.btw, what version of scrapy you use, why you using meta and cb_kwargs for same reason simultaneously?
МП
в компании много проектов с апи + сап и каждый новый проект синхранизируется с несколькими предыдущими. сейчас синхронизация проходит просто путем сохранения данных в бд через рест. получается одни и те же данные много где дублируются. вопрос куда копать чтобы это все дело исправить. не по тематике группы но мож кто сталкивался
К
Максим Петров
в компании много проектов с апи + сап и каждый новый проект синхранизируется с несколькими предыдущими. сейчас синхронизация проходит просто путем сохранения данных в бд через рест. получается одни и те же данные много где дублируются. вопрос куда копать чтобы это все дело исправить. не по тематике группы но мож кто сталкивался
Как они "много где дублируются", если синхронизируются в бд?
МП
пример ппоект А имеет данные. проект Б их получат и генерирует свои. проект В берет с проекта А и Б и генерирует свои. Проект Г берет данные А и С и тд..
МП
как решить проблему дублирования данных из проекта в проект?
МП
это нормально дублировать данные в проектах? если нужны данные со многих сервисов и постаянно дублируются из проекта в проект