s
и еще вопрос, поднял vm кластерной версии, проверяю, насколько он стойкий к потере стораджа, если выношу один из стораджей (2 других живы) то на графиках в графане провалы на этот интервал, это ок?
Size: a a a
2019 June 03
AN
при потере одного из стораджей данные должны писатсья на соседний
s
ага, тоже на это расчитывал, но провалы :(
s
вот пром, который пишет в vm
s
вот сама vm, первый провал — роллинг апдейт стейтфулсета, дальше тестовые выносы подов стейтфулсета
AN
то есть идет rolling update даже а не delete pod?
s
конфигурация:
2x vminsert (deployment)
2x vmselect (deployment)
3x vmstorage (statefulset с emptyDir)
2x vminsert (deployment)
2x vmselect (deployment)
3x vmstorage (statefulset с emptyDir)
s
так же есть у стораджей сайдкары которые раз в 5 минут делают бекап и инит контейнера которые из бекапа восстанавливают
AN
оформишь issue?
AN
спасибо
s
а, еще, пока удаленный pod (pod delete) не доступен — график ок, потом, когда он восстановился из бекапа — появляется провал
AV
если бэкап делается раз в пять минут, значит, после восстановления из последнего бэкапа может быть утеряно до 5 минут данных с момента создания бэкапа до момента восстановления из него. Этим могут объясняться провалы на графиках
AV
при апдейте vmstorage нод не нужно восстанавливаться из бэкапа - главное, чтобы они были остановлены с помощью SIGINT (aka graceful shutdown). В этом случае они должны скинуть все данные на диск перед остановкой, поэтому после обновления никакие данные не должны потеряться.
AV
даже если vmstorage ноды убить помощью SIGKILL, то потреяется последние пару секунд данных, которые не успели скинуться на диск. В этом случае тоже не нужнжо ничего восстанавливать из бэкапа. Бэкап нужен, если данные полностью потерялись или испортились
AV
бэкап раз в пять минут - перебор :) Когда данных мало, он еще будет кое-как работать, а когда данных наберется слишком много, они не будут успевать записываться за пять минут в архивное хранилище. Можно, конечно, делать incremental backup с помощью
rsync -rL --delete раз в пять минут и полный бэкап раз в день...AV
разработчики netdata просят протестировать запись данных из netdata во внешнюю TSDB с помощью Prometheus remote write - https://github.com/netdata/netdata/issues/5619#issuecomment-498237620 . Кто пользуется netdata и может это протестить в связке с VictoriaMetrics?
s
при апдейте vmstorage нод не нужно восстанавливаться из бэкапа - главное, чтобы они были остановлены с помощью SIGINT (aka graceful shutdown). В этом случае они должны скинуть все данные на диск перед остановкой, поэтому после обновления никакие данные не должны потеряться.
в коде наше обработку SIGTERM если что, но это ок, может Я чего затупил
s
если бэкап делается раз в пять минут, значит, после восстановления из последнего бэкапа может быть утеряно до 5 минут данных с момента создания бэкапа до момента восстановления из него. Этим могут объясняться провалы на графиках
да, уже разобрался, сам создал проблему, сам решил