AZ
интересно дождемся ли мы RDS Clickhouse 😊
Наш altinity.cloud крутится поверх EKS и EBS и работает с помощью clickhouse-operator.
Производительность вполне неплоха и не сильно отстает от железок с локальными дисками, если бандвича EBS достаточно.
Size: a a a
2021 June 01
AZ
А есть какой-то guidance, от каких размеров имеет смысл на metal экземпляры смотреть?
DT
Тут главный вопрос скорее, какой объем/процент данных будет часто использоваться.
Поместится ли он в кеш оперативной памяти.
Самые жирные инстансы вроде позволяют иметь 2-3гб/секунду для EBS, что будет достаточно для большинства пользователей.
Поместится ли он в кеш оперативной памяти.
Самые жирные инстансы вроде позволяют иметь 2-3гб/секунду для EBS, что будет достаточно для большинства пользователей.
DT
У нас есть некоторые клиенты, кто крутит кликхаус поверх AWS Lustre (и своих собственных инсталляций).
Там производительность зависит уже от глубины кошелька.
Там производительность зависит уже от глубины кошелька.
AZ
это понятно, те кто с НРС стеком дружит - у них особенные требования и особенный бюджет
DT
По проводу размеру инстансов, от 64 ядер уже имхо имеет смысл смотреть на либо железные инстансы, либо с локальными дисками.
Допустим i3.16xlarge c 8 x 1900 выглядит довольно вкусным.
Допустим i3.16xlarge c 8 x 1900 выглядит довольно вкусным.
AZ
хотя странно что не эфемеры просто, врядли FSx быстрее эфемеров в жирных инстансах
AZ
FSx нужен когда софт не умеет данными управлять
DT
Позволю себе скопировать :)
One of our client with Lustre has ton of money they told me that they have 100 Gigabit Ethernet and it their Lustre faster than local NMVE
DT
В облаках часто бывает, что быстрая сеть есть почти у всех инстансов, а вот бандвич дисков зажимают.
AZ
я про то и говорю, если софт не может распараллелить запись на несколько дисков - нужен быстрый внеший массив )
DT
Плюс собираются добавить в кх zero replication для стораджа на NFS (а соответственно и все остальные network disks)
Уже подобное есть для S3.
Уже подобное есть для S3.
AZ
хотя там упираются наверное уже в число этих эфемеров, у i3en их всего 8 чтоли
DT
Те в перспективе shared сторадж будет дешевле, если он сам реплицирует данные внутрях.
AZ
а где почитать про такое для S3 в КХ?
DT
AZ
а дизайн-доков в КХ не пишут?)
DT
Пишут RFC, но не всегда :)
https://github.com/ClickHouse/ClickHouse/pull/16240/files/e3879afa69672d28686b591dc3b088d1bf451b7a#diff-6f995a9b22dceee745f9639020cff52d5e71ba14a1a7741fa297494a51f36dab
Тут кратенько была описана идея.
https://github.com/ClickHouse/ClickHouse/pull/16240/files/e3879afa69672d28686b591dc3b088d1bf451b7a#diff-6f995a9b22dceee745f9639020cff52d5e71ba14a1a7741fa297494a51f36dab
Тут кратенько была описана идея.
AZ
ага, мне было интересно как эти все гонки будут решать, и жаль что в ЗК столько всего