Size: a a a

Scalability Camp — чат про распределенные системы (и про HPC)

2021 March 27

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Спам на сообщение выше был
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Саша наверное уже удалил
источник
2021 March 31

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Интересная архитектру у Amazon Aurora. У них нет вообще checkpoints, к которым вот все уже привыкли. При записи  в WAL они не батчуют. Raft, Paxos не используют. У них есть один мастер, который пишет WAL в 6 разных мест и использует кворум w=4 and r = 3. такой кворум они выбрали, чтобы переживать падение одного DC + 1 сторадж.На запись у них 200K транзакций выдает на Single Master ( в видео у них указанна конфигурация EC2, которая для этого использовалась).  Так я понял, что если с мастером что-то происходит, то они перезапускают EC2 инстанс с мастером. Не знаю как они делают failure detection для мастера. Если у кого есть опыт с Aurora или знаете, какие-то нюансы как она работает = поделитесь плиз. https://www.youtube.com/watch?v=U42mC_iKSBg
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Multi-master у них тоже есть.
источник

AS

Alexander Shinkarenk... in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Интересная архитектру у Amazon Aurora. У них нет вообще checkpoints, к которым вот все уже привыкли. При записи  в WAL они не батчуют. Raft, Paxos не используют. У них есть один мастер, который пишет WAL в 6 разных мест и использует кворум w=4 and r = 3. такой кворум они выбрали, чтобы переживать падение одного DC + 1 сторадж.На запись у них 200K транзакций выдает на Single Master ( в видео у них указанна конфигурация EC2, которая для этого использовалась).  Так я понял, что если с мастером что-то происходит, то они перезапускают EC2 инстанс с мастером. Не знаю как они делают failure detection для мастера. Если у кого есть опыт с Aurora или знаете, какие-то нюансы как она работает = поделитесь плиз. https://www.youtube.com/watch?v=U42mC_iKSBg
Aurora не пишет данные в 6 мест. У нее под капотом спец хранилище от AWS, которое делает репликацию в остальные 5 мест. Поэтому повторить Aurora за пределами AWS невозможно, нет таких открытых продуктов.

Не знаю насколько там больше информации, но вот в этом году рассказывали на русском:
https://www.youtube.com/watch?v=vfLqez8Ydmw
источник

IC

Iliya Ch in Scalability Camp — чат про распределенные системы (и про HPC)
12
источник

ДЧ

Денис Черемисов... in Scalability Camp — чат про распределенные системы (и про HPC)
12
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Alexander Shinkarenko
Aurora не пишет данные в 6 мест. У нее под капотом спец хранилище от AWS, которое делает репликацию в остальные 5 мест. Поэтому повторить Aurora за пределами AWS невозможно, нет таких открытых продуктов.

Не знаю насколько там больше информации, но вот в этом году рассказывали на русском:
https://www.youtube.com/watch?v=vfLqez8Ydmw
Спасибо большое. А если она не пишет в 6 мест, а пишет в 1 место и это одно отвечает за репликацию в остальные 5, то получается, что координатор живет там ( в этом 1 месте). Тогда это leader based топология репликации. И встает вопрос, что будет происходить, если этот лидер упадет. А они утверждают, что у них нет ни Raft ни Paxos и тому подобного. Мне изначально казалось, что роль координатора выполняет master, который пишет в эти 6 мест параллельно, а не в одно из них. И мастер отслеживает наличие кворума т.е когда 4 из его 6 запросов записи завершатся, то он считает запись успешной.
источник
2021 April 02

RS

Rinat Shigapov in Scalability Camp — чат про распределенные системы (и про HPC)
Про Amazon Aurora Global и CockroachDB - https://www.cockroachlabs.com/blog/just-how-global-is-amazon-aurora

TL;DR Not only does CockroachDB offer the lowest price for OLTP workloads, it does so while offering the highest level of consistency. To get a better understanding of the numbers, check out this blog post about the price of running OLTP workloads in CockroachDB and Aurora. In short, the CockroachDB cost includes 3 machines, as well as a DBA's salary to monitor and maintain the cluster.
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
OLTP в наше время все умеют, вы дайте толковый OLAP не по цене паровоза. Clickhouse? Apache Kudu? Что ещё?
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
да дофига всего, но тебе не понравится =) выглядит как поделка потому что
у китайцев даже клоны clickhouse есть =) типа https://tensorbase.io

есть Citus для Postgres как columnar storage
есть https://github.com/taosdata/TDengine
есть Baidu Palo он же https://github.com/apache/incubator-doris
есть https://github.com/pingcap/tidb - тоже китайцы
для савсем неструктурированного (Parquet, Avro в HDFS) есть prestodb.io и sparkSQL

в целом бери clickhouse если понимаешь как его готовить ;)
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
да дофига всего, но тебе не понравится =) выглядит как поделка потому что
у китайцев даже клоны clickhouse есть =) типа https://tensorbase.io

есть Citus для Postgres как columnar storage
есть https://github.com/taosdata/TDengine
есть Baidu Palo он же https://github.com/apache/incubator-doris
есть https://github.com/pingcap/tidb - тоже китайцы
для савсем неструктурированного (Parquet, Avro в HDFS) есть prestodb.io и sparkSQL

в целом бери clickhouse если понимаешь как его готовить ;)
Нудык хочется выбор же. Есть SingleStore (бывший MemSQL), но он тоже ну такое, ещё и дорогой
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Нудык хочется выбор же. Есть SingleStore (бывший MemSQL), но он тоже ну такое, ещё и дорогой
ну tidb в OLAP режиме и citusdb пощупайте
источник
2021 April 03

RS

Rinat Shigapov in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
да дофига всего, но тебе не понравится =) выглядит как поделка потому что
у китайцев даже клоны clickhouse есть =) типа https://tensorbase.io

есть Citus для Postgres как columnar storage
есть https://github.com/taosdata/TDengine
есть Baidu Palo он же https://github.com/apache/incubator-doris
есть https://github.com/pingcap/tidb - тоже китайцы
для савсем неструктурированного (Parquet, Avro в HDFS) есть prestodb.io и sparkSQL

в целом бери clickhouse если понимаешь как его готовить ;)
https://github.com/ballista-compute/ballista

Для недолгого хранения данные можно сохранять в Arrow IPC (Feather)
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Балиста с точки зрения архитектура  хорошая, а реализация подкачал.
источник

RS

Rinat Shigapov in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
Балиста с точки зрения архитектура  хорошая, а реализация подкачал.
Что не понравилось в реализации?
источник
2021 April 04

PB

Pavel Bukhmatov in Scalability Camp — чат про распределенные системы (и про HPC)
Всем привет! Собрал в 1 месте краткую историю CAP теоремы и нескольких работ вокруг неё https://telegra.ph/Istoriya-CAP-teoremy-04-03
Вроде сильно не наврал. Делюсь)
источник

VI

Vitaly Isaev in Scalability Camp — чат про распределенные системы (и про HPC)
👍
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Оличная  статья. Спасибо
источник

AP

Alexander Petrovsky in Scalability Camp — чат про распределенные системы (и про HPC)
А кто нить раскурил pacelc как продолжение cap? Какая-то крайне мутная штука
источник