Size: a a a

2019 October 07

YD

Yuriy Dorogov in DevOps
Anton Grachevnikov
Котаны, есть у кого опыт в бэкапе/ресторе геораспределённого кластера Cassandra? Интересно было бы послушать про best practices
Ууу, эт тебе к Хрычу, он у нас большой спец по хадупам, кассандрам
источник

VS

Vladimir Smirnov in DevOps
Yuriy Dorogov
Ууу, эт тебе к Хрычу, он у нас большой спец по хадупам, кассандрам
не надо провоцировать хрыча
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
Котаны, есть у кого опыт в бэкапе/ресторе геораспределённого кластера Cassandra? Интересно было бы послушать про best practices
по дефолту их нет, есть сторонние тулзы, либо второй вариант, бэкапить дату
источник

СХ

Старый Хрыч in DevOps
в принципе бекапить data самый простой вариант, а потом просто тупо с ней запускать ноды, очистив коммит лог
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
Котаны, есть у кого опыт в бэкапе/ресторе геораспределённого кластера Cassandra? Интересно было бы послушать про best practices
но это путь говно, правильно делать rap3, и на каждый dc иметь хотя бы по 3 ноды
источник

AG

Anton Grachevnikov in DevOps
Старый Хрыч
по дефолту их нет, есть сторонние тулзы, либо второй вариант, бэкапить дату
А у veeam ничего нет, случаем? Нагуглить не удалось, а саппорт/сейлов через заказчика долго пинать будет
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
А у veeam ничего нет, случаем? Нагуглить не удалось, а саппорт/сейлов через заказчика долго пинать будет
нет ничего, есть у датаскакса но это говно, проще делать отдельный раздел\subvol под data и его бэкапить
источник

СХ

Старый Хрыч in DevOps
восстанавливаешь дату, удаляешь коммит лог и запускаешь
источник

СХ

Старый Хрыч in DevOps
да и то это плохая практика, хорошая практика это dc на каждую локацию и 5 нод, 3 ноды так терпимо
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
А у veeam ничего нет, случаем? Нагуглить не удалось, а саппорт/сейлов через заказчика долго пинать будет
в случае если нет зависимости от rtw, кассандру лучше заменить на scylladb
источник

СХ

Старый Хрыч in DevOps
тк на много, очень много быстрее компакшен и работа с томбстоунами
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
А у veeam ничего нет, случаем? Нагуглить не удалось, а саппорт/сейлов через заказчика долго пинать будет
и опять же, каждая гео точка это отдельный DC, если в дс не в 1 стойке находятся ноды, то ещё и отдельный rack
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
А у veeam ничего нет, случаем? Нагуглить не удалось, а саппорт/сейлов через заказчика долго пинать будет
документация параша, половина ошибок разобрана в гугл рассылках, и даже спустя 2 года дока не обновлена
источник

СХ

Старый Хрыч in DevOps
с другой стороны я не знаю твои нагрузки, и не знаю как вы её используете, поэтому многие ошибки возможно ты даже не увидишь
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
А у veeam ничего нет, случаем? Нагуглить не удалось, а саппорт/сейлов через заказчика долго пинать будет
напиши хоть кейс  свой, сколько геолокаций, сколько врайт\апдейт\делит операций планируется, какой обьём данных
источник

AG

Anton Grachevnikov in DevOps
Старый Хрыч
напиши хоть кейс  свой, сколько геолокаций, сколько врайт\апдейт\делит операций планируется, какой обьём данных
Да, сорри, отвлекли:) Кейс следующий - платформа, на её базе ряд сервисов. К платформе подцеплен внешний кластер в качестве хранилища конфигураций и событий. У меня сейчас они попарно полгодика поживут, 1+1 под каждый сервис на 2 геоудалённых цода. Думаю снапшотить инкрементно vm + время от времени снапшоты киспейсов снимать. Самое веселье начнётся в следующем году, нужно будет собрать кластер, первоначально штук 20 будет, по 10 в  каждом цод , в конфиге планирую разнести по dc, но ограничиться 1 стойкой (хотя думаю про выделение отдельных стойки под каждый из сервисов, но тут нужно взвесить +/-/подводные камни). Сверху это всё будет балансироваться haproxy (в силу архитектуры фэйловера платформы нужно под 1 хостнейм упихать все ноды). rf3, cl each_quorum на запись, local_quorum на чтение, данные по random partitioner распределяются. Собственно, задача следующая - обеспечить сохранность данных и оперативное восстановление в случае падения бомбы на 1 из цодов :)
источник

AG

Anton Grachevnikov in DevOps
А, ну и да, бэкапы нужно выносить в третье место (читай - схд)
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
Да, сорри, отвлекли:) Кейс следующий - платформа, на её базе ряд сервисов. К платформе подцеплен внешний кластер в качестве хранилища конфигураций и событий. У меня сейчас они попарно полгодика поживут, 1+1 под каждый сервис на 2 геоудалённых цода. Думаю снапшотить инкрементно vm + время от времени снапшоты киспейсов снимать. Самое веселье начнётся в следующем году, нужно будет собрать кластер, первоначально штук 20 будет, по 10 в  каждом цод , в конфиге планирую разнести по dc, но ограничиться 1 стойкой (хотя думаю про выделение отдельных стойки под каждый из сервисов, но тут нужно взвесить +/-/подводные камни). Сверху это всё будет балансироваться haproxy (в силу архитектуры фэйловера платформы нужно под 1 хостнейм упихать все ноды). rf3, cl each_quorum на запись, local_quorum на чтение, данные по random partitioner распределяются. Собственно, задача следующая - обеспечить сохранность данных и оперативное восстановление в случае падения бомбы на 1 из цодов :)
😕то есть 2 dc, где 10 кассандр(плохо правда, лучше либо 9 либо 11) в 1 стойке?
источник

AG

Anton Grachevnikov in DevOps
Старый Хрыч
😕то есть 2 dc, где 10 кассандр(плохо правда, лучше либо 9 либо 11) в 1 стойке?
да, всё так. А почему ассиметрично лучше?
источник

СХ

Старый Хрыч in DevOps
Anton Grachevnikov
Да, сорри, отвлекли:) Кейс следующий - платформа, на её базе ряд сервисов. К платформе подцеплен внешний кластер в качестве хранилища конфигураций и событий. У меня сейчас они попарно полгодика поживут, 1+1 под каждый сервис на 2 геоудалённых цода. Думаю снапшотить инкрементно vm + время от времени снапшоты киспейсов снимать. Самое веселье начнётся в следующем году, нужно будет собрать кластер, первоначально штук 20 будет, по 10 в  каждом цод , в конфиге планирую разнести по dc, но ограничиться 1 стойкой (хотя думаю про выделение отдельных стойки под каждый из сервисов, но тут нужно взвесить +/-/подводные камни). Сверху это всё будет балансироваться haproxy (в силу архитектуры фэйловера платформы нужно под 1 хостнейм упихать все ноды). rf3, cl each_quorum на запись, local_quorum на чтение, данные по random partitioner распределяются. Собственно, задача следующая - обеспечить сохранность данных и оперативное восстановление в случае падения бомбы на 1 из цодов :)
убей архитектора
источник