Size: a a a

Scalability Camp — распределенные системы и HPC

2021 June 11

N

Nikolay in Scalability Camp — распределенные системы и HPC
ну вот если у тебя, скажем, хадуп-экосистема, спарки-шмарки
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
их же до сих пор чаще ставят на бареметал, кубер там можно, но сложно
источник

AB

Aleksandr Borgardt in Scalability Camp — распределенные системы и HPC
Это все зависит от сл
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
расшифруй сл. Ты про SLA? или про что?
источник

AB

Aleksandr Borgardt in Scalability Camp — распределенные системы и HPC
Да
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
а почему от SLA зависит?
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
ну это же не относится напрямую к нему. Допустим, я хочу, чтобы у меня все дата саентисты могли ходить в датаварехаус. И чтобы было несколько edge-нод, на которые это все будет балансироваться. Я могу захотеть с помощью SD сделать так, что при миграции части варехауса в другой датацентр все все равно могли по нему подключаться по старому домену, например
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
и делать это не через dns руками на сервере, воюя с кэшами, а через поддержание реестра Zeroconf какого-нибудь
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
или так не получится?
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
или в случае хадупа это все все равно придется завязать на зукипер?
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
вот чего хочется понять
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
источник
2021 June 14

N

Nikolay in Scalability Camp — распределенные системы и HPC
А вот если распределённый кэш делать с репликацией,что бы было . То подойдет ли raft, но без log? В рафт ведь корректность через наличия лога доказывается , насколько помню.а лог не хочется из за перформанса . Или как в кешах делают репликацию ?
источник

AB

Aleksandr Borgardt in Scalability Camp — распределенные системы и HPC
кажется что это будет не совсем  raft
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
А как распределенные кеши делают репликацию ?
источник

RS

Rinat Shigapov in Scalability Camp — распределенные системы и HPC
Можно на уровне отдельных операций делать синхронизацию. Каждая операция задаёт требования к порядку операций чтения/записи.

В C++ 20 есть memory_order для организации работы на многоядерных системах или задания ограничений на переупорядочивание операций компилятором.

https://en.cppreference.com/w/cpp/atomic/memory_order
источник

N

Nikolay in Scalability Camp — распределенные системы и HPC
Это я неверное неточно написал. Пардон. Вопрос про распределённый кеш с гео репликацией , например. Это вопрос чисто теоретический.
источник
2021 June 15

N

Nikolay in Scalability Camp — распределенные системы и HPC
источник

PR

Paul Rudnitskiy in Scalability Camp — распределенные системы и HPC
Все в этом мире немного кэш...
источник

TS

Timur Safin in Scalability Camp — распределенные системы и HPC
а в чем отличие кеша от персистентной базы? ведь семантически кеш - это то, что может и отсутствовать, и тогда мы обращаемся к более медленному уровню. И каждый из узлов кеша должен прогреваться предыдущими паттернами доступа, не станет ни жарче ни холоднее если вы скопируете контент кеша у соседа, так как тот обслуживает других клиентов и на нём могут лежать не нужные данные.

Посему вопрос - зачем георепликация данных кеша, зачем там рафт, если он не является финальным стореджем?
источник