Телеграмм чат группы itarchitect страница 2555

pragus

резервного захоронения ©

В основном, да:) очень дорогие системы захоронения данных:)

20:31пожаловаться #1

PD

Gennadiy Kruglov

Для хренения сообщений (сохранил синтаксис автора) нужно использовать предназначенные для этого хранилища, например, Hadoop.

Брокеры сообщений для хранения сообщений не предназначены. Только в рамках политик хранения, обычно до тех пор, пока сообщения не будут обработаны потребителями.

Ну, kafka вполне про вечное хранение, если ретеншн настроить корректно. Так как это не очередь, а лог...

20:38пожаловаться #2

PD

Gennadiy Kruglov

Есть золотое правило - используйте технологии по назначению.

Если вас вдруг озарило и вы решили, что можно из брокера сделать базу данных или объектное хранилище, то скорее всего вы просто не разобрались в матчасти.

Ты не поверишь, сейчас kafka развивается именно в сторону БД. Ну, в рамках kafka streams и вместе с rocksDB, но там сильно связанное хранение. И для CQRS вечное хранение событий подразумевается все-таки....
Но кроме кафки такое хранить, конечно, больше негде. Да и в кафке стоит аккуратно...

20:40пожаловаться #3

GK

Ну, kafka вполне про вечное хранение, если ретеншн настроить корректно. Так как это не очередь, а лог...

Что значит ретеншен настроить?

Кафка - это брокер сообщений, структура хранения сообщений которого построена в виде лога, распределённого и реплицируемого, что важно.

Vitaly U in Архитектура ИТ-решений

20:41пожаловаться #4

VU

Ты не поверишь, сейчас kafka развивается именно в сторону БД. Ну, в рамках kafka streams и вместе с rocksDB, но там сильно связанное хранение. И для CQRS вечное хранение событий подразумевается все-таки....
Но кроме кафки такое хранить, конечно, больше негде. Да и в кафке стоит аккуратно...

В смысле для EventSourcing?

20:41пожаловаться #5

PD

Vitaly U

В смысле для EventSourcing?

Угу.

Vitaly U in Архитектура ИТ-решений

20:42пожаловаться #6

VU

Михаил Гуренков in Архитектура ИТ-решений

Угу.

Тогда же про это говорили
https://t.me/itarchitect/10211

а как источник данных для эвенсорсинга?

20:43пожаловаться #7

PD

Gennadiy Kruglov

Что значит ретеншен настроить?

Кафка - это брокер сообщений, структура хранения сообщений которого построена в виде лога, распределённого и реплицируемого, что важно.

Ну и что, что оно может быть еще и брокером. Систем, где в кафке хранят много - хватает.
Не очевидно, но хранение миллиардов записей всегда не очевидно

20:43пожаловаться #8

GK

Ты не поверишь, сейчас kafka развивается именно в сторону БД. Ну, в рамках kafka streams и вместе с rocksDB, но там сильно связанное хранение. И для CQRS вечное хранение событий подразумевается все-таки....
Но кроме кафки такое хранить, конечно, больше негде. Да и в кафке стоит аккуратно...

Я знаю об этом. Но, в рамках kafka steams, в которой используется rocksDB

20:43пожаловаться #9

PD

Там рокс для хранение текущего состояния, насколько я помню. А не для истории...

20:43пожаловаться #10

GK

Там рокс для хранение текущего состояния, насколько я помню. А не для истории...

Да

20:44пожаловаться #11

PD

А история - таки в кафке. С возможностью перезалить...

20:44пожаловаться #12

GK

А история - таки в кафке. С возможностью перезалить...

Я не просто так спросил про политики хранения. Насколько долго хранятся данные и какие максимально размеры сегметнов

20:46пожаловаться #13

GK

И стримы используются для обработки данных во времени близком к реальному или в окне.

Вопрос, насколько большое можно делать окно.

Если окно большое, может лучше использовать пакетную обработку.

20:47пожаловаться #14

GK

Ну и что, что оно может быть еще и брокером. Систем, где в кафке хранят много - хватает.
Не очевидно, но хранение миллиардов записей всегда не очевидно

Это брокер, который из-за удачной архитектуры пытаются сделать ещё и базой данных.

Потому что у этого брокера как и у баз данных есть лог

20:51пожаловаться #15

GK

Идея использовать кафку как event store в eventsoucing выглядит очень заманчивой. Понаблюдаем за исплементацией.

Mutko says in Архитектура ИТ-решений

20:55пожаловаться #16

Ms

А чего наблюдать, это ее главная фича