Спам на сообщение выше был

Саша наверное уже удалил

Интересная архитектру у Amazon Aurora. У них нет вообще checkpoints, к которым вот все уже привыкли. При записи  в WAL они не батчуют. Raft, Paxos не используют. У них есть один мастер, который пишет WAL в 6 разных мест и использует кворум w=4 and r = 3. такой кворум они выбрали, чтобы переживать падение одного DC + 1 сторадж.На запись у них 200K транзакций выдает на Single Master ( в видео у них указанна конфигурация EC2, которая для этого использовалась).  Так я понял, что если с мастером что-то происходит, то они перезапускают EC2 инстанс с мастером. Не знаю как они делают failure detection для мастера. Если у кого есть опыт с Aurora или знаете, какие-то нюансы как она работает = поделитесь плиз. https://www.youtube.com/watch?v=U42mC_iKSBg

Multi-master у них тоже есть.

Aurora не пишет данные в 6 мест. У нее под капотом спец хранилище от AWS, которое делает репликацию в остальные 5 мест. Поэтому повторить Aurora за пределами AWS невозможно, нет таких открытых продуктов.

Не знаю насколько там больше информации, но вот в этом году рассказывали на русском:
https://www.youtube.com/watch?v=vfLqez8Ydmw

12

12

Спасибо большое. А если она не пишет в 6 мест, а пишет в 1 место и это одно отвечает за репликацию в остальные 5, то получается, что координатор живет там ( в этом 1 месте). Тогда это leader based топология репликации. И встает вопрос, что будет происходить, если этот лидер упадет. А они утверждают, что у них нет ни Raft ни Paxos и тому подобного. Мне изначально казалось, что роль координатора выполняет master, который пишет в эти 6 мест параллельно, а не в одно из них. И мастер отслеживает наличие кворума т.е когда 4 из его 6 запросов записи завершатся, то он считает запись успешной.

Про Amazon Aurora Global и CockroachDB - https://www.cockroachlabs.com/blog/just-how-global-is-amazon-aurora

TL;DR Not only does CockroachDB offer the lowest price for OLTP workloads, it does so while offering the highest level of consistency. To get a better understanding of the numbers, check out this blog post about the price of running OLTP workloads in CockroachDB and Aurora. In short, the CockroachDB cost includes 3 machines, as well as a DBA's salary to monitor and maintain the cluster.

OLTP в наше время все умеют, вы дайте толковый OLAP не по цене паровоза. Clickhouse? Apache Kudu? Что ещё?

да дофига всего, но тебе не понравится =) выглядит как поделка потому что
у китайцев даже клоны clickhouse есть =) типа https://tensorbase.io

есть Citus для Postgres как columnar storage
есть https://github.com/taosdata/TDengine
есть Baidu Palo он же https://github.com/apache/incubator-doris
есть https://github.com/pingcap/tidb - тоже китайцы
для савсем неструктурированного (Parquet, Avro в HDFS) есть prestodb.io и sparkSQL

в целом бери clickhouse если понимаешь как его готовить ;)

Нудык хочется выбор же. Есть SingleStore (бывший MemSQL), но он тоже ну такое, ещё и дорогой

ну tidb в OLAP режиме и citusdb пощупайте

https://github.com/ballista-compute/ballista

Для недолгого хранения данные можно сохранять в Arrow IPC (Feather)

Балиста с точки зрения архитектура  хорошая, а реализация подкачал.

Что не понравилось в реализации?

Всем привет! Собрал в 1 месте краткую историю CAP теоремы и нескольких работ вокруг неё https://telegra.ph/Istoriya-CAP-teoremy-04-03
Вроде сильно не наврал. Делюсь)

👍

Оличная  статья. Спасибо

А кто нить раскурил pacelc как продолжение cap? Какая-то крайне мутная штука