Size: a a a

2020 October 24

МП

Максим Петров... in Scrapy
нет абсолютно все дынные свои
источник

К

Кирилл in Scrapy
Тогда они могут использовать одну бд, или с прослойкой rest если должны быть запросы с фронта
источник

МП

Максим Петров... in Scrapy
вы сталкивались с подобным или вы просто мысли говорите?
источник

К

Кирилл in Scrapy
С чем, с подобным? Что какие-то сервисы используют какие-то данные? Каждый день
источник

МП

Максим Петров... in Scrapy
у каждого своя бд на разных фрейворках но все с рестфул
источник

МП

Максим Петров... in Scrapy
Кирилл
С чем, с подобным? Что какие-то сервисы используют какие-то данные? Каждый день
я писал выше даже с примером читайте внимательней
источник

К

Кирилл in Scrapy
Я читал. А Б В, так себе примеры
источник

МП

Максим Петров... in Scrapy
ладно, спасибо вам
источник

К

Кирилл in Scrapy
Пожалуйста
источник

МП

Максим Петров... in Scrapy
думаю сделать сервис с вебхуком для всех апи
источник

МП

Максим Петров... in Scrapy
но это не решает проблему кучи одинаковых данных из проекта в проект..
источник

A

Andrii in Scrapy
А срейпи при чем?
источник

МП

Максим Петров... in Scrapy
Максим Петров
в компании много проектов с апи + сап и каждый новый проект синхранизируется с несколькими предыдущими. сейчас синхронизация проходит просто путем сохранения данных в бд через рест. получается одни и те же данные много где дублируются. вопрос куда копать чтобы это все дело исправить.  не по тематике группы но мож кто сталкивался
👆
источник
2020 October 25

i

i in Scrapy
Максим Петров
в компании много проектов с апи + сап и каждый новый проект синхранизируется с несколькими предыдущими. сейчас синхронизация проходит просто путем сохранения данных в бд через рест. получается одни и те же данные много где дублируются. вопрос куда копать чтобы это все дело исправить.  не по тематике группы но мож кто сталкивался
Непонятно, почему они дублируются? Если одна база, желательно еще нормализованная до удобной степени, то почему данные А получаются дублированными? Лично я не понял.
источник

МП

Максим Петров... in Scrapy
где там написанно что база одна? у всех своя каждый сам по себе
источник

i

i in Scrapy
А что за проекты? Микросервисы? Они зависят друг от друга "во времени"? Или возвращений к предыдущим проектам нет?
источник

К

Кирилл in Scrapy
i
А что за проекты? Микросервисы? Они зависят друг от друга "во времени"? Или возвращений к предыдущим проектам нет?
Там пример есть, А Б В Г и все такое
источник

i

i in Scrapy
Условно говоря, проект С без еженедельных данных от А взлетит или нет? Или они только один раз требуются, данные А?
источник

МП

Максим Петров... in Scrapy
нет синхронизация постоянная идет. не микросервисы, обычные рестфул
источник

МП

Максим Петров... in Scrapy
сейчас синхронизая идет путем тасков которые переодически по фильтру берут инфу через апи.
источник