Ei
кроме как писать в 2 ноды кластера одновременно пока не вижу вариантов, те балансировщик, в каждом дц за ним vminsert который пишет в свой и второй дц - крест на крест получается
Size: a a a
2019 May 28
AN
если prometheus то можно просто 2 раза указать в remote_write секции 2 URL для разных DC
Ei
это не очень удобно + кроме прома есть еще telegraf c influx output
AN
тогда да первый вариант значительно лучше
VP
ну в первом варианте есть нюанс, например все балансировщики для графита поддерживают какое-то кеширование запросов
VP
то есть если у нас удаленный кластер пару минут не доступен, то метрики не потеряются, а просто будут задержаны на балансировщике до доступности кластера
AV
вышел багфикс-релиз v1.18.7, в котором исправлено повышенное потребление оперативной памяти и процессора при вставки больших объемов данных. Это особо заметно при вставке данных по influx, graphite и opentsdb-протоколам. В tsbs бенчмарке занимаемая память уменьшилась с гигабайта до 250 мегабайт во время записи данных. см. https://github.com/VictoriaMetrics/VictoriaMetrics/releases .
L
у вас конфигурейшн менеджмента не завезли?
поддержу коллегу. Много кейсов, когда пакетами удобно.
AV
кроме как писать в 2 ноды кластера одновременно пока не вижу вариантов, те балансировщик, в каждом дц за ним vminsert который пишет в свой и второй дц - крест на крест получается
т.е. репликация, как в кликхаусе - для каждой шарды явно указываются адреса реплик, которые могут находиться в других датацентрах, с автоматическим восстановлением реплик после повреждения? Я тоже пока склоняюсь к такой репликации, только не хочу тянуть зукипер или что-то похожее в систему, т.к. из-за него больше всего проблем, если судить по вопросам в канале кликхауса
Ei
т.е. репликация, как в кликхаусе - для каждой шарды явно указываются адреса реплик, которые могут находиться в других датацентрах, с автоматическим восстановлением реплик после повреждения? Я тоже пока склоняюсь к такой репликации, только не хочу тянуть зукипер или что-то похожее в систему, т.к. из-за него больше всего проблем, если судить по вопросам в канале кликхауса
Да, в идеале хочется именно этого
Ei
А сейчас vminsert как себя будет вести если одна из vmstorage будет недоступна будет кэшировать и ждать или будет все писать в доступную?
AV
будет писать в доступную
IB
@valyala смотрели в сторону Serf?
Ei
будет писать в доступную
Хорошо
AV
@valyala смотрели в сторону Serf?
нет, сейчас гляну, что это )
IB
либка, на основе которой кластерная логика консула построена
IB
ну и на том же etcd можно делать кластеризацию, но тогда придется кучу своего кода писать
AN
Там рафт
IB
с чем вы вроде успешно справляетесь))
IB
в etcd? да, рафт