AP
Это я понимаю)
Size: a a a
2020 June 25
AP
А, имеется ввиду - выбрать ключ шардирования для деления по TTL?
AP
тогда нагрузка на запись на шард будет очень неравномерная же
AK
А, имеется ввиду - выбрать ключ шардирования для деления по TTL?
Нет, ключ шардирования надо выбирать такой, чтобы данные загружалдись максимально равномерно.
AK
какая-то гауссиана будет, но отклонение не должно быть большим
AK
скажем, меньше чем в 2 раза это норм
AP
Это понятно,. Я в целом идею допонять хочу?
AP
У меня ведь и так, разумеется, функция чистки запускает самостоятельно на каждом шарде, а не где-то централизовано
AK
У меня ведь и так, разумеется, функция чистки запускает самостоятельно на каждом шарде, а не где-то централизовано
Как вы это делаете? Возможно у вас уже нормально сделано
AP
Ну все просто. На каждом инстансе тарантула запускается отдельный файбер, который с паузами идет по индексу, выбирает пачку ID записей и затем в транзакции удаляет их. Идет, понятное дело, просто по спейсу, без хождения по vshard и тд
AP
Проблема в неэффективном удалении. У нас вставок на 1 инстанс около 1000в секунду (может и больше быть,. сейчас минимизировали это). А удалять с такой скоростью не получается
DS
интересно, а объем базы у вас какой? почему винил?
AP
И вот в этом и есть проблема. То ли мы как-то не так это готовим, то ли что-то упускаем. Но надо бы как-то это удаление настроить эффективно
AP
В оперативку не влезаем. пытались посчитать
AP
Там и машины с Е3, куда много памяти не сунешь. Да и в целом - на машину (3 инстанса) где-то занимало под 400гб
AP
Посмотрел, сейчас на 1 машине уже под 600гб. это потому что чистить не успеваем
AP
В кластере 11 серверов. 46 инстансов стораджей
DS
оу
AP
AK
Тут может быть проблема в специфике винила. Уже выше говорили, что при удалении записи только помечаются как удалённые (т.е. это запись операции в лог), и через какой-то момент будет вызвана ребалансировка дерева (compaction).