Size: a a a

2020 October 25

К

Кирилл in Scrapy
Максим Петров
нет синхронизация постоянная идет. не микросервисы, обычные рестфул
А микросервисы не могут быть рестфул?
источник

МП

Максим Петров... in Scrapy
Кирилл
А микросервисы не могут быть рестфул?
могут но у нас нет
источник

i

i in Scrapy
Ну если синхронизация постоянная, и все со всеми связаны можно тупо забабахать одну базу и коннектиться к ней всей этой шобле.  Из минусов - если что-то захотите в будущем вырезать (к примеру, из-за слабой связности с остальными частями), надо будет тянуть или прокидывать всю базу  и настраивать там правила подключения к областям.

Еще как вариант - если идет дубликация данных, не дублируйте их, а оставляйте их по разным базам, к которым будет идти коннект. Променяете скорость на "меньше места".

Ну и ваш вариант - а как вы данные туда-сюда сейчас гоняете?
источник

МП

Максим Петров... in Scrapy
i
Ну если синхронизация постоянная, и все со всеми связаны можно тупо забабахать одну базу и коннектиться к ней всей этой шобле.  Из минусов - если что-то захотите в будущем вырезать (к примеру, из-за слабой связности с остальными частями), надо будет тянуть или прокидывать всю базу  и настраивать там правила подключения к областям.

Еще как вариант - если идет дубликация данных, не дублируйте их, а оставляйте их по разным базам, к которым будет идти коннект. Променяете скорость на "меньше места".

Ну и ваш вариант - а как вы данные туда-сюда сейчас гоняете?
данные только в один конец идут, ну это пока в будущем думаю начнут и туда сюда ходить. через рест ходят
источник

МП

Максим Петров... in Scrapy
я думал об этом варианте с одной базой
источник

МП

Максим Петров... in Scrapy
не обращайте внимания на вебхук это для руководства ну примерно так сказал сделать можно
источник

i

i in Scrapy
да но там риск есть - потом пилить сдохнете, а когда-нибудь это может потребоваться.
источник

МП

Максим Петров... in Scrapy
то есть как вы сказали оставлять по разным базам
источник

МП

Максим Петров... in Scrapy
i
да но там риск есть - потом пилить сдохнете, а когда-нибудь это может потребоваться.
извините не совсем понял
источник

i

i in Scrapy
ну типа сервис какой-то потеряет сильную связь от остальных данных, но "у нас тут принято все в одной базе", или контрактору отдать, и надо будет мурыжиться с настройкой доступов. Или какой-нибудь джун полезет заполнять базу по 1 из 20, сделает команду очистки и грохнет всю базу.
источник

i

i in Scrapy
а чтоб не грохнул - опять надо настраивать доступ и следить за этим  четко
источник

МП

Максим Петров... in Scrapy
я согласен вариант так себе. поэтому и задал вопрос тут
источник

МП

Максим Петров... in Scrapy
я думал не одну базу сделать а по сервисам\проектам разделать в разные контейнеры. и не делать их первоисточником а чтобы в одно место все стикало и оттуда сервис мог доступ ко всем дать.
источник

МП

Максим Петров... in Scrapy
не очень понятно наверное написал
источник

i

i in Scrapy
ну короче, у вас процесс синхронизации данных постепенно подходит к тому, что возможно, становится выгодней сделать его сразу таким (=лежит в разных базах и когда надо данные гонятся по сети), а не, условными "ручками", условно "копировать" базу каждый раз для другого проекта.
источник

МП

Максим Петров... in Scrapy
да  я думал в одной сети инстансы поднять для этого для баз
источник

МП

Максим Петров... in Scrapy
и проекты почти все тоже можно засунуть в одну сеть
источник

i

i in Scrapy
ЗЫ ах да - я чисто теоретически рассуждаю, я конечно видел и оракл кластер наживую, но я далеко не DBA, лол. Могу только еще порекомендовать поприставать к нормальному DBA, и почитать как принято в области ETL, посмотреть на какие-нибудь фреймворки, к примеру, https://github.com/electronick1/stairs
источник

i

i in Scrapy
фреймворк если чего - как раз для быстрого построения "трубопровода" из данных
источник

МП

Максим Петров... in Scrapy
спасибо вам
источник