@AlikKurdyukov  По-моему, у вас был Debezium в продакшне?

Да, использовали некоторое время, потом прикладной cdc сделали

А на одной базе или нескольких cdc делали?

А что значит прикладной ? На чем он работал на wal файлах или как то иначе ?

17

Всех девушек с праздником . Весны , любви и красоты. @lynxed , а вам ещё и спасибо по случаю.  За создание этого чата )

Спасибо! Будем растить чат!

Можно задать вопросы Martin Kleppmann, если такие есть:

https://datatalks.club/books/20210308-designing-data-intensive-applications.html

11

Кажется эту книгу рекомендовал @Enchantner

Да её все рекомендуют :) это одна из лучших книг по архитектуре

А кто отвечать будет ? Неужели сам Клепман ?

Не просто будет, а уже отвечает)

Круто. Он мне уже 3  раза ответил ). Теперь буду говорить, что с Клепманом советовался ).

10

7

Сорри, не заметил. Нет, просто из прикладного кода кидает в кафку события. Транзакционно база с Кафкой не связаны

Всем привет!
Подскажите, может есть подход под задачу — есть поток данных, нужно иметь возможность их держать в бд для аналитики (aws athena) и при этом иметь доступ к реалтайм данным. В athena не очень получается эффективно вставлять потоковые данные по событию — создаётся по файлику на s3 на каждый insert.
Подумал что можно прикрутить небольшой постгрес, партицировать посуточно и партиции старше 3х дней скидывать на s3 для athena.
При запросах с фронта бэк бы объединял результаты с двух баз с учётом какой временной период выбран.
Это прям кривой велосипед?)

А потом данных откуда?