AC
А в чем сложность?
Size: a a a
2019 October 04
Е
"Кэш" в данном случае это постгрес
Ты имеешь ввиду написать свой репликатор?
AC
Ты имеешь ввиду написать свой репликатор?
Скорее это будет мигратор, но да
AC
Постгрес, в принципе, для data lake подходит так себе
AC
В нем можно только справочники хранить и индексы по тем данным, которые имеет смысл джойнить по реляционным связям
AC
А всякий балк в нем держать - да нафига?
Е
А вот у нас так и есть
GG
Постгрес, в принципе, для data lake подходит так себе
Оракл ? На нем строят некоторые DWH
GG
А раз так, то и на пг можно
AC
Оракл ? На нем строят некоторые DWH
Оракл это вообще нечто из болотной жижи
Е
А всякий балк в нем держать - да нафига?
Балк имеется ввиду чтобы сущности для сервисов грузить пачкой, и не ходить в постгрес после этого вообще
AC
Принципиально от постгреса отличие только одно - сильно приятнее в эксплуатации
E
Кто бы ещё время дал синк сложных сущностей из постгреса в такой кеш
ни в одном серьезном проекте нет нормализации данных, есть конечно SSOT, где они могут быть нормализованы, но так-то они всегда размазаны по разным хранилищам и поисковым движкам в разных форматах 😏😏😏
Е
ни в одном серьезном проекте нет нормализации данных, есть конечно SSOT, где они могут быть нормализованы, но так-то они всегда размазаны по разным хранилищам и поисковым движкам в разных форматах 😏😏😏
К сожалению у нас нормальный проект и база с клиентскими данными нормализована в усмерть. А отдача рекламы должна работать.
E
Оракл ? На нем строят некоторые DWH
data warehouse - это структурированные данные, по которым можно свободно гонять запросы в известном домене
data lake - это блевня из лапшистой даты, куда скидывают че попало, и только после процессинга сорцов из data lake образуется data warehouse (а может быть и несколько)
data lake - это блевня из лапшистой даты, куда скидывают че попало, и только после процессинга сорцов из data lake образуется data warehouse (а может быть и несколько)
E
К сожалению у нас нормальный проект и база с клиентскими данными нормализована в усмерть. А отдача рекламы должна работать.
> А отдача рекламы должна работать.
вот поэтому их и размазывают
вот поэтому их и размазывают
Е
> А отдача рекламы должна работать.
вот поэтому их и размазывают
вот поэтому их и размазывают
Вот поэтому мы к этому идём, а пока страдаем потихоньку
AC
Я вообще фиг знает, как вы с вашим поцгресом data locality обеспечиваете
Е
Сейчас та стадия, когда распиливаем монолитные базы
Е
И кстати монга тоже есть, огромный кусок вырвали из постгри и засунули в сервис, где сзади монга