Size: a a a

Чат конференции HighLoad++

2020 May 16

AT

Al T in Чат конференции HighLoad++
Ок, если кафка или очередь то непонятно зачем тогда база в принципе. Можно сразу писать  туда
источник

MF

Maksim Fedenev in Чат конференции HighLoad++
Al T
Ок, если кафка или очередь то непонятно зачем тогда база в принципе. Можно сразу писать  туда
База - чтобы данные не терять. Она хотя бы в реплики умеет.
источник

AT

Al T in Чат конференции HighLoad++
А кафка не умеет?
источник

AT

Al T in Чат конференции HighLoad++
Или очередь?
источник

MF

Maksim Fedenev in Чат конференции HighLoad++
Зависит от задачи, здесь "данные нельзя терять".
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Al T
Ок, если кафка или очередь то непонятно зачем тогда база в принципе. Можно сразу писать  туда
Обычно данные не только пишут, но и потом читают )  Читать реляционные данные из реляционной БД намного эффективнее чем из кафки, к тому же в начальных условиях говорилось о  БД, как о данности, которую нельзя даже тюнить, не то что упразднить.
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Кафка - нормальный вариант, но если нужны гарантии сохранности данных - то надо мерять, потянет ли нагрузку на реальном железе. Обычно все умопомрачительные данные по производительности кафки показываются для асинхрона, т.е. случая фактического отсутствия гарантий сохранности данных
источник

AE

Alexey Er in Чат конференции HighLoad++
Так Кафку масштабировать можно сколько угодно.
источник

AT

Al T in Чат конференции HighLoad++
Sergey Bezrukov
Обычно данные не только пишут, но и потом читают )  Читать реляционные данные из реляционной БД намного эффективнее чем из кафки, к тому же в начальных условиях говорилось о  БД, как о данности, которую нельзя даже тюнить, не то что упразднить.
Cassandra, mongo, redis  - какая из них реляционная? Если потом читать через кафку или очередь в чем принципиальная разница? Где теряются гарантии?
источник

AT

Al T in Чат конференции HighLoad++
Плюс не очень понятно при чтении из реляционной бд как получать delivery guarantees - реляцмонная бд их не предоставляет
источник

SG

Sergey Gitinsky in Чат конференции HighLoad++
Al T
Cassandra, mongo, redis  - какая из них реляционная? Если потом читать через кафку или очередь в чем принципиальная разница? Где теряются гарантии?
никакая
источник

AT

Al T in Чат конференции HighLoad++
Sergey Gitinsky
никакая
Exactimo :)
источник

AT

Al T in Чат конференции HighLoad++
В общем если кто-то меня и остальной мир убедит что временное хранение метрик в реляционной (внезапно) бд с точки зрения durability & high availability больше по сравнению например с кафкой я буду очень признателен
источник

N

Nikolay in Чат конференции HighLoad++
Дмитрий Синявский
А она осилит столько ?
А сколько у вас эти 5к в мегабайтах ? В кафке обычно батчинг используют, как в прочем и в бд.
источник

ДС

Дмитрий Синявский... in Чат конференции HighLoad++
Одна запись 1кб допустим
источник

ДС

Дмитрий Синявский... in Чат конференции HighLoad++
Выходит 5мбайт
источник

N

Nikolay in Чат конференции HighLoad++
5 мб - это копейки. Они пролетят и по сети быстро и на диск лягут мгновенно.
источник

SB

Sergey Bezrukov in Чат конференции HighLoad++
Al T
Cassandra, mongo, redis  - какая из них реляционная? Если потом читать через кафку или очередь в чем принципиальная разница? Где теряются гарантии?
А где в постановке задачи кассандра, монго или редис? Человек спрашивал как бы ему писать в Постгрес быстрее, чем тот может принимать. Причём этот Постгрес он даже тюнить не может, не то что заменить на что-то другое.
источник

AT

Al T in Чат конференции HighLoad++
Sergey Bezrukov
А где в постановке задачи кассандра, монго или редис? Человек спрашивал как бы ему писать в Постгрес быстрее, чем тот может принимать. Причём этот Постгрес он даже тюнить не может, не то что заменить на что-то другое.
Предложили в качестве решения поставленной задачи
источник

AT

Al T in Чат конференции HighLoad++
Смотрите выше
источник