Size: a a a

2019 June 02

TT

Tsh Tsh in Data Engineers
Часто доклады - копипаста длкументашки и маркетоидных презентпшек
источник

СХ

Старый Хрыч in Data Engineers
Tsh Tsh
Часто доклады - копипаста длкументашки и маркетоидных презентпшек
не часто а почти всегда
источник

TT

Tsh Tsh in Data Engineers
И докладчик в жизни под нагрузкой не имел дела с системой
источник

СХ

Старый Хрыч in Data Engineers
хороший пример доклады про devops и k8s
источник

Ж

Жмака in Data Engineers
Старый Хрыч
вообще е нагрузка, на 5 десктопах работать будет
Буду ставить два датацентра в разных сетях
источник

GG

George Gaál in Data Engineers
Старый Хрыч
хороший пример доклады про devops и k8s
+100
источник

Ж

Жмака in Data Engineers
Alex
Количество ручек которые можно крутить

1 настроить скорость репликации нельзя (критично если в разных дц кластера и не хочется убить канал)

2 скорость компакшена на диске тоже не настраивается

Не очень любит много апдейтов, больше предпочитает нагрузки в виде только записи и чтения

Компакшен сам по эвристике патается подобрать размер следующего блока. Так как используют фреймворк seastar и привязка партици к ядру, то в пределах одного евент лупа и компакшен проходит и запросы обрабатываются в разнух корутинах, в итоге есть у них баги что если евристика промахнулась, то до секунд остановка на обработку запросов, что для приложений критичных лейтенси неприемлемо, даже кассандра с gc выдаёт более предсказуемый перцентиль
Спасибо! Это было полезно - трнбования к лейтенси мне выставили
источник

СХ

Старый Хрыч in Data Engineers
Жмака
Буду ставить два датацентра в разных сетях
берите centos, xfs, возьмите у scylla перфконф и пройдите по оптимизации ядра и sysctl.conf, потом отключите ipv6 в sysctl.conf,  обязательно ставте G1 а не cms gc, и руками а не скриптом ставьте выделение памяти по кол-ву ядер
источник

СХ

Старый Хрыч in Data Engineers
и возьмите лучше дистрибутив который не из репов, его чаще обновляют
источник

Ж

Жмака in Data Engineers
Alex
@erzentd еще наши девопсы на тесте жаловались что repair в комьюнити версии был поломан (ломал к чертям весь кластер), разрабы сказали “покупайте платную версию, там всё работает отлично, про не совсем корректрую работу repair в комьюнити версии мы знаем”
Пробовал рипэйр в тесте но кластер выдержал. Как именно поломал?
источник

A

Alex in Data Engineers
Не я, у нас отдельная команда насиловала хорошо и по разному её, включая выпадение нод
источник

Ж

Жмака in Data Engineers
Старый Хрыч
и возьмите лучше дистрибутив который не из репов, его чаще обновляют
В тесте установил с репозитория 3.11.4. Апгрейд в ближайшем будущем делать не будем. Насколько критично установить из репозитория?
источник

DY

Dan Y in Data Engineers
Daniel Matveev
да, только отзывы хочется не от евангелиста услышать
я не евангелист. в чем вопрос?
источник

СХ

Старый Хрыч in Data Engineers
Жмака
В тесте установил с репозитория 3.11.4. Апгрейд в ближайшем будущем делать не будем. Насколько критично установить из репозитория?
наоборот лучше не из репов, и критично ядро с настройками
источник

СХ

Старый Хрыч in Data Engineers
😐особенно если планируете работать с диском а не оперативой
источник

СХ

Старый Хрыч in Data Engineers
хочу напомнить что релаьное тестирование будет, когда оперативы станет на 30% меньше чем данных
источник

СХ

Старый Хрыч in Data Engineers
до этого тесты даже тестами называть смысла нет
источник

СХ

Старый Хрыч in Data Engineers
причём оператива это именно оперативная память хоста, а не heap
источник

Ж

Жмака in Data Engineers
Старый Хрыч
причём оператива это именно оперативная память хоста, а не heap
С диском, много записей будет. Есть может best practices для тюнинга os, гиды в этом случае?
источник

СХ

Старый Хрыч in Data Engineers
Жмака
С диском, много записей будет. Есть может best practices для тюнинга os, гиды в этом случае?
у сциллы есть скрипты, там некоторое надо будет поменять либо настройки скопировать для кассандры
источник