Size: a a a

2020 July 17

DS

Dmitry Sharonov in Tarantool
возможно наследие луаюнита
источник

ИМ

Игрь Минеев... in Tarantool
но, но, мы же файл конкретный указываем...
источник

Bp

Bar pri in Tarantool
Alexey Kuzin
скиньте кусочек лога с записями от компакшена
https://pastebin.com/Tw7zN23L  кусок лога
источник

AK

Alexey Kuzin in Tarantool
Bar pri
День добрый. Подскажите советом.
В винил постоянно вставляются новые данные и удаляются старые ttl. Скорость вставки равна скорости удаления. По графикам наблюдаем что место занятое на диске постоянно увеличивается. По логам тарантула компактинг идет, файлы удаляются. Что можно подкрутить для лучшей очистки диска?
Текущие настройки
vinyl_run_count_per_level: "1"
       vinyl_range_size: "1048576"
       vinyl_run_size_ratio: "10"
       vinyl_memory: "536870912"
       vinyl_cache: "536870912"
       vinyl_page_size: "32768"
С какой скоростью растёт занятое место на диске?
источник

AK

Alexey Kuzin in Tarantool
Вы уверены что количество данных у вас не меняется?
источник

Bp

Bar pri in Tarantool
Alexey Kuzin
С какой скоростью растёт занятое место на диске?
Растет примерно со скоростью 1 гб в 2-5 минут.  На 95% уверен что данные не растут (утром примерно 50 миллионов и в данный момент около 50 миллионов) за 6 часов место увеличилось на 60 гб примерно
источник

DS

Dmitry Sharonov in Tarantool
и рпсы такие же как ночью?
источник

AK

Alexey Kuzin in Tarantool
Bar pri
Растет примерно со скоростью 1 гб в 2-5 минут.  На 95% уверен что данные не растут (утром примерно 50 миллионов и в данный момент около 50 миллионов) за 6 часов место увеличилось на 60 гб примерно
Количество данных как смотрите? Нет ли у вас внутри туплов каких-то обновляющихся значений, которые могут расти?
источник

AK

Alexey Kuzin in Tarantool
Типа массивов или строк
источник

Bp

Bar pri in Tarantool
Alexey Kuzin
Количество данных как смотрите? Нет ли у вас внутри туплов каких-то обновляющихся значений, которые могут расти?
count работает долго и зависает, о количестве данных сужу по записям в memtex (дублирует ключи спейса винила) и по сообщениям при компактинге.  Насколько могу судить кроме метрик кастомных ничего и нет
источник

AK

Alexey Kuzin in Tarantool
Bar pri
count работает долго и зависает, о количестве данных сужу по записям в memtex (дублирует ключи спейса винила) и по сообщениям при компактинге.  Насколько могу судить кроме метрик кастомных ничего и нет
Ну вы специфику данных хотя бы расскажите
источник

Bp

Bar pri in Tarantool
Забыл сказать, это продолжение этой задачи
источник

Bp

Bar pri in Tarantool
Переслано от Andrey Privalov
По графику видно, что место стабльно растет, Хотя со вчера, 7 вечера - кол-во вставок сравнялось кол-ву удалений
источник

Bp

Bar pri in Tarantool
Alexey Kuzin
Ну вы специфику данных хотя бы расскажите
данные представляют собой некий id(рандомная строка), tt - время окончания жизни записи, строка с данными(типа json, но в данном случае не важно). Размер одной записи величина не постоянная и может менятся.  По времени жизни данные удаляются, установившееся количество данных 50-52 миллиона
источник

AK

Alexey Kuzin in Tarantool
Bar pri
данные представляют собой некий id(рандомная строка), tt - время окончания жизни записи, строка с данными(типа json, но в данном случае не важно). Размер одной записи величина не постоянная и может менятся.  По времени жизни данные удаляются, установившееся количество данных 50-52 миллиона
данные не реплейсятся, только удаляются?
источник

Bp

Bar pri in Tarantool
Alexey Kuzin
данные не реплейсятся, только удаляются?
да
источник
2020 July 19

AP

Andrey Privalov in Tarantool
Alexey Kuzin
данные не реплейсятся, только удаляются?
Мы вставляем реплейсами. После этого не меняем, только читаем или удаляем
источник

AK

Alexey Kuzin in Tarantool
Andrey Privalov
Мы вставляем реплейсами. После этого не меняем, только читаем или удаляем
Скиньте пожалуйста gist  c box.cfg и box.info.vinyl(). Может уже было, но чтобы не искать.
источник

AK

Alexey Kuzin in Tarantool
Параллельно у вас мемтекс же запущен?
источник

AK

Alexey Kuzin in Tarantool
Может у вас мемтексные снапы и логи место едят?
источник