Size: a a a

Церковь метрик

2020 February 12

IM

Ivan Moiseev in Церковь метрик
vladimir kolobaev
Может ребята испытывают джава-фобию и сделали репликацию через rsync, такое вполне возможно реализовать, если упороться.
Да не. Скорее надо посчитать сам кластер ZK, чтобы он успевал и не плакал. Для людей, которые впервые слышат слово “арбитр” - это такое себе удовольствие.
источник

AS

Aleksey Shirokikh in Церковь метрик
Ivan Moiseev
Да не. Скорее надо посчитать сам кластер ZK, чтобы он успевал и не плакал. Для людей, которые впервые слышат слово “арбитр” - это такое себе удовольствие.
Те которые его первый раз слышат врятли его используют. Скорее там вариант мунина или какти
источник

IM

Ivan Moiseev in Церковь метрик
Aleksey Shirokikh
Те которые его первый раз слышат врятли его используют. Скорее там вариант мунина или какти
maybe
источник

AV

Aliaksandr Valialkin in Церковь метрик
vladimir kolobaev
У нас есть кластер с логами от nginx, на 70тб. Там по 1млн строк влетает, в шард, с репликацией, и проблем тоже нет. На том кластере HDD в 6 рейде. Все работает норм, правда данные становятся доступны секунд через 20 только
Уже выходили из строя диски в raid6? Сколько времени заняло восстановление данных после замены диска? А не то тут пугают недельным восстановлением, в течение которого высока вероятность выхода из строя дополнительных дисков с последующим отказом всего raid-массива.
Также не совсем понятно, зачем нужны дополнительные затраты на raid6 при включенной репликации в кликхаусе. Почему не подошли jbod диски? Было бы дешевле, быстрее и было бы доступно больше суммарной емкости.
источник

vk

vladimir kolobaev in Церковь метрик
Aliaksandr Valialkin
Уже выходили из строя диски в raid6? Сколько времени заняло восстановление данных после замены диска? А не то тут пугают недельным восстановлением, в течение которого высока вероятность выхода из строя дополнительных дисков с последующим отказом всего raid-массива.
Также не совсем понятно, зачем нужны дополнительные затраты на raid6 при включенной репликации в кликхаусе. Почему не подошли jbod диски? Было бы дешевле, быстрее и было бы доступно больше суммарной емкости.
Диски из строя не выходили, в бою больше 2х лет. SSD. Raid6 потому что решили перестраховаться, так как и ёмкости и производительности у нас со значительным запасом.
Репликация есть и она не только про рейды, но и про контроллеры и про шасси и про выход из строя сервера целиком.
источник

IM

Ivan Moiseev in Церковь метрик
Aliaksandr Valialkin
Уже выходили из строя диски в raid6? Сколько времени заняло восстановление данных после замены диска? А не то тут пугают недельным восстановлением, в течение которого высока вероятность выхода из строя дополнительных дисков с последующим отказом всего raid-массива.
Также не совсем понятно, зачем нужны дополнительные затраты на raid6 при включенной репликации в кликхаусе. Почему не подошли jbod диски? Было бы дешевле, быстрее и было бы доступно больше суммарной емкости.
А можно TL;DR?
Вы утверждаете что самому гарантировать сохранность данных - плохо, а отдать это в GCP “потому что оно там как-то реплицируется само” - норм?
источник

IM

Ivan Moiseev in Церковь метрик
А в GCP то есть дисков в рейдах нет?
источник

AS

Aleksey Shirokikh in Церковь метрик
Ivan Moiseev
А в GCP то есть дисков в рейдах нет?
Там не совсем диски
источник

IM

Ivan Moiseev in Церковь метрик
Aleksey Shirokikh
Там не совсем диски
там облако, я помню
источник

AS

Aleksey Shirokikh in Церковь метрик
Почитай как там устроено. Оно по факту бд
источник

AS

Aleksey Shirokikh in Церковь метрик
Вроде как колосус или как то так
источник

IM

Ivan Moiseev in Церковь метрик
Aleksey Shirokikh
Почитай как там устроено. Оно по факту бд
А бд не поверх дисков крутится, да?
источник

AV

Aliaksandr Valialkin in Церковь метрик
Aleksey Shirokikh
Я слышал hope is not an option. Говорят в одной крупной компании это лозунг. Даже в книжках пишут
ВМ вызывает fsync не реже раза в секунду. Этот системный вызов гарантирует, что данные записались на диск после возврата из него. Конечно, некоторые файловые системы или блочные устройства могут читить и не придерживаться этих гарантий. Но я оптимист и надеюсь, что все они следуют соглашению, что после успешного fsync данные гарантированно записаны на диск :)
источник

AS

Aleksey Shirokikh in Церковь метрик
Ivan Moiseev
А бд не поверх дисков крутится, да?
А там репликафактор накрутить не сложнг
источник

IM

Ivan Moiseev in Церковь метрик
Aleksey Shirokikh
А там репликафактор накрутить не сложнг
кажется, что живя абстракцией выше, ты от фундаментальных проблем не избавлен, не?
источник

AS

Aleksey Shirokikh in Церковь метрик
Ivan Moiseev
кажется, что живя абстракцией выше, ты от фундаментальных проблем не избавлен, не?
Поэтому есть бекап.
источник

IM

Ivan Moiseev in Церковь метрик
Aleksey Shirokikh
Поэтому есть бекап.
Но ведь можно просто самому отвечать за репликацию, консистентность и вот это вот всё
источник

AS

Aleksey Shirokikh in Церковь метрик
Обрати пожалуйста внимание что тсдб не биллинг и предъявлять к нему такие гарантии довольно странно
источник

IM

Ivan Moiseev in Церковь метрик
И не надеяться на авось
источник

IM

Ivan Moiseev in Церковь метрик
Aleksey Shirokikh
Обрати пожалуйста внимание что тсдб не биллинг и предъявлять к нему такие гарантии довольно странно
Не очень понял, причем тут тсдб
источник