Size: a a a

Архитектура ИТ-решений

2020 January 22

Ms

Mutko says in Архитектура ИТ-решений
Достигли ретеншена — сохранилось именно последнее состояние агрегата, все остальные ушли в хадуп например
источник

Ms

Mutko says in Архитектура ИТ-решений
Витя Б.
Видел несколько решений, когда кафка использовалась как промежуточный накопитель сырых данных из источников, в которых хранить эти данные не представляется возможным (например, CDC из OLTP-системы, или IoT-источники), но конечный потребитель этих данных ещё не готов их принимать
И да, в одном случае ретеншен в кафке был больше года
После запуска приемника исторические данные были перегружены в него, история есть, работающий процесс загрузки на стороне приемника есть, практически счастье
Кафка это быстро и с гарантией очередности доставки
источник

ВБ

Витя Б. in Архитектура ИТ-решений
Mutko says
Кафка это быстро и с гарантией очередности доставки
Никто и не спорит
источник

Ms

Mutko says in Архитектура ИТ-решений
Ну и NeverKafka
источник

ВБ

Витя Б. in Архитектура ИТ-решений
Mutko says
Ну и NeverKafka
Что это?
источник

Ms

Mutko says in Архитектура ИТ-решений
Нашли баг? Откатил оффсет на месяц назад и перепроцессил все заново, в отличие от классических очередей типа кролика
источник

Ms

Mutko says in Архитектура ИТ-решений
Витя Б.
Что это?
Если что-то ломается, то это Never Kafka (tm)
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Mutko says
Достигли ретеншена — сохранилось именно последнее состояние агрегата, все остальные ушли в хадуп например
Вот об это я и говорил. Практически лямбда архитектура

Но, нужно тщательно продумывать политики хранения и не рассчитывать на вечное хранение

И если хранить нужно долго, год например, то учитывать объём данных
источник

Ms

Mutko says in Архитектура ИТ-решений
Ну мы только 30 дней держали, неча баловать разрабов)
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Mutko says
Нашли баг? Откатил оффсет на месяц назад и перепроцессил все заново, в отличие от классических очередей типа кролика
Суть в том, что если нужно откатить на месяц, то уже есть альтернативы
источник

ВБ

Витя Б. in Архитектура ИТ-решений
Mutko says
Если что-то ломается, то это Never Kafka (tm)
Какой кошмар)
Буду знать, спасибо)
источник

Ms

Mutko says in Архитектура ИТ-решений
Обычно в aws развернуть свою кафку только на проде будет стоить от 1200 евро — 5 инстансов брокера, 5 инстансов зукипера + авро реджистри
источник

Ms

Mutko says in Архитектура ИТ-решений
А кролик, пошел купил managed от cloudamqp - 3 инстанса == 300 евро
источник

IM

Ilya Maevskiy in Архитектура ИТ-решений
А зачем вам такой большой кластер кафки?
источник

IM

Ilya Maevskiy in Архитектура ИТ-решений
Сколько событий в сек/
источник

IM

Ilya Maevskiy in Архитектура ИТ-решений
?
источник

Ms

Mutko says in Архитектура ИТ-решений
От 50к/сек
источник

Ms

Mutko says in Архитектура ИТ-решений
Кролик в прыжке умеет только 40к/сек
источник

Ms

Mutko says in Архитектура ИТ-решений
Для адтеха это самый маленький кластер
источник

IM

Ilya Maevskiy in Архитектура ИТ-решений
3 нод в кластере за глаза хватит
источник