Size: a a a

Архитектура ИТ-решений

2020 November 25

PD

Phil Delgyado in Архитектура ИТ-решений
Ну и есть ли БД, умеющие хранить данные в этом nvdimm, а потом восстанавливать оттуда после рестарта версии?
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Gennadiy Kruglov
Как-то давно в одном известном месте, в департаменте архитектуры, мне сказали: "вам выпала большая честь, у вас не будет базы и будет всё в памяти". Я после этой встречи пришёл к команде и сказал: "парни, пи**ец, делаем две ветки, одна на Оракле, другая на "всё в памяти". При этом говорим, что идея хорошая, но пока "всё в памяти" нихера не работает, поэтому Оракл. Через несколько лет такую тактику признали правильной. Всё в памяти не заработало.
Ну, вот да.. Хотя вариант с чистым inmem с репликацией и возможностью все скинуть на диск при major version update стоит рассмотреть.
источник

p

pragus in Архитектура ИТ-решений
Phil Delgyado
Но это не дешевое железо, как я понимаю?
~ 40круб за 128гб
источник

PD

Phil Delgyado in Архитектура ИТ-решений
pragus
~ 40круб за 128гб
Это чье? И в амазоне есть с ней хосты? Или в ажуре?
источник

PD

Phil Delgyado in Архитектура ИТ-решений
И платы нужны специальные или стандартные? Ну и какие СУБД это умеют поддерживать )
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Phil Delgyado
Ну, вот да.. Хотя вариант с чистым inmem с репликацией и возможностью все скинуть на диск при major version update стоит рассмотреть.
Не думаю, что это хорошая идея. Нет гарантий, что в какой-то момент кластер всё же не развалится или реплики не разъедутся.

На тот момент, кстати, у того решения, которое нам навязали, никакой персистентности не было вообще. И это был банк.
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Gennadiy Kruglov
Не думаю, что это хорошая идея. Нет гарантий, что в какой-то момент кластер всё же не развалится или реплики не разъедутся.

На тот момент, кстати, у того решения, которое нам навязали, никакой персистентности не было вообще. И это был банк.
Ну, так это и для persistance нет. Хотя inmem баз, которые проходоят jepsen - я не знаю. Надо посмотреть, что там у редиса.
источник

p

pragus in Архитектура ИТ-решений
Phil Delgyado
Это чье? И в амазоне есть с ней хосты? Или в ажуре?
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Phil Delgyado
Ну, так это и для persistance нет. Хотя inmem баз, которые проходоят jepsen - я не знаю. Надо посмотреть, что там у редиса.
Мне нравится мысль, что перед фиксацией транзакции данные хотя бы в каком-то виде сброшены на диск
источник

p

pragus in Архитектура ИТ-решений
Phil Delgyado
И платы нужны специальные или стандартные? Ну и какие СУБД это умеют поддерживать )
Оно втыкается вместо ddr4 модуля. Заявлено ~ 33Gb/s чтение и 9.8Gb/s запись
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Gennadiy Kruglov
Мне нравится мысль, что перед фиксацией транзакции данные хотя бы в каком-то виде сброшены на диск
Ну, мне тоже. Но тогда FoundationDB или Cockroach - и опаньки
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Phil Delgyado
Ну, мне тоже. Но тогда FoundationDB или Cockroach - и опаньки
И всё же) вопрос в масштабе потерь)
источник

PD

Phil Delgyado in Архитектура ИТ-решений
pragus
Оно втыкается вместо ddr4 модуля. Заявлено ~ 33Gb/s чтение и 9.8Gb/s запись
А толку-то, если СУБД с ней не умеют работать как с диском...
Т.е. даже сделав redis поверх я не решу проблемы major version update.
Разве что развернуть виртуальный диск поверх и делать на нее snapshot
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Gennadiy Kruglov
И всё же) вопрос в масштабе потерь)
Ну, тут скорее дело в масштабе моей лени это реализовывать на FDB. Ну и смотреть, как оно реально смасштабируется. И лечить детские проблемы.
источник

PD

Phil Delgyado in Архитектура ИТ-решений
(10 mln queue * 5 msg*200bye = 10Gb, за секунду на optane можно скинуть. Это хорошо....)
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Phil Delgyado
А толку-то, если СУБД с ней не умеют работать как с диском...
Т.е. даже сделав redis поверх я не решу проблемы major version update.
Разве что развернуть виртуальный диск поверх и делать на нее snapshot
Фил абсолютно прав. Базы оптимизированы под диски.

Мы это обсуждали. Ждём решений под Optane, а точнее под 3D XPoint
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Phil Delgyado
Ну, тут скорее дело в масштабе моей лени это реализовывать на FDB. Ну и смотреть, как оно реально смасштабируется. И лечить детские проблемы.
Ну это да.
источник

p

pragus in Архитектура ИТ-решений
Phil Delgyado
Ну и есть ли БД, умеющие хранить данные в этом nvdimm, а потом восстанавливать оттуда после рестарта версии?
источник

PD

Phil Delgyado in Архитектура ИТ-решений
И? Что это даст?
источник

N

Nikolay in Архитектура ИТ-решений
Phil Delgyado
На HDD, кстати, 1000 не получить, там где-то 300 IOPS, не больше.
1k примерно будет из-за коммитов, а они батчуются. Поэтому в эти 300 влезут 1000.
источник