АШ
Всем привет. Как думаете при каком объеме БД стоит заниматься партицированием? и стоит ли вообще?
Партицирование - прошлый век. Сейчас TimeScaleDB настраивать нужно
Size: a a a
2020 January 27
AK
Партицирование - прошлый век. Сейчас TimeScaleDB настраивать нужно
так это тоже самое партицирование
AK
Всем привет. Как думаете при каком объеме БД стоит заниматься партицированием? и стоит ли вообще?
если рассчитываешь, что нагрузка и объём базы может возрасти и твоих мощностей может не хватать, то лучше это делать как можно раньше
AK
если у тебя хаускипинг длится больше 30 минут то можно уже задумываться
M
если рассчитываешь, что нагрузка и объём базы может возрасти и твоих мощностей может не хватать, то лучше это делать как можно раньше
У меня планируется 1ТБ данных. Сейчас работа через mariadb идет. Думаю как лучше сделать. Пока еще начало
AK
У меня планируется 1ТБ данных. Сейчас работа через mariadb идет. Думаю как лучше сделать. Пока еще начало
ну тогда однозначно стоит
АШ
У меня планируется 1ТБ данных. Сейчас работа через mariadb идет. Думаю как лучше сделать. Пока еще начало
Лучше сделать через PostgreSQL+TimeScaleDB
YK
кстати да, как себя ведет таймскейлдб при больших выборках, например посчитать среднее значение 50к айтемов за час? Не апи, прямой запрос в базу
АШ
кстати да, как себя ведет таймскейлдб при больших выборках, например посчитать среднее значение 50к айтемов за час? Не апи, прямой запрос в базу
Так по идее TimeScale больше про ускорение удаления данных а не чтения. Но это не точно
АШ
кстати да, как себя ведет таймскейлдб при больших выборках, например посчитать среднее значение 50к айтемов за час? Не апи, прямой запрос в базу
Глянь, может тут есть ответ на твой вопрос https://m.habr.com/ru/company/ua-hosting/blog/485470/
YK
со вставкой понятно все, вопрос с выборкой, есть кейс: 160К+ хостов, 4М+ айтемов, хосты разбиты на группы, несколько больших группы(30-40), куча мелких(8к+), требуется агрегированный подсчет значений айтемов у хостов
RM
кстати да, как себя ведет таймскейлдб при больших выборках, например посчитать среднее значение 50к айтемов за час? Не апи, прямой запрос в базу
В теории, если значения в Value Cache, то нормально посчитаются. К сожалению, не знаю тонкости работы Value Cache.
PZ
а какое хранилище нынче "плотнее" ? извините..
YK
clickhouse
PZ
не, из трех оффициальных ?
PZ
то есть, которое вместо серии значений, хранит семантический эквивалент "значение не менялось три дня и равно 3.14" ?
D
clickhouse
Слышал что оч быстро с им все, жду его))) postgres с таймскале тоже оч поправил, но хочется больше)
D
Раньше делал truncate, после timescale хаускипер есть, хоть и не выборочный
D
Ну и я ещё троттлинг не пользовал, не везде уместен, надо вдумчиво
M
Привет.
'1. {ITEM.NAME1} ({HOST.NAME1}:{ITEM.KEY1}): {ITEM.VALUE1}
2. {ITEM.NAME2} ({HOST.NAME2}:{ITEM.KEY2}): {ITEM.VALUE2}
3. {ITEM.NAME3} ({HOST.NAME3}:{ITEM.KEY3}): {ITEM.VALUE3}'
Не могу понять как заставить в уведомление присылать и предедущие значение ITEM? сейчас заполняется только 1 строка.
'1. {ITEM.NAME1} ({HOST.NAME1}:{ITEM.KEY1}): {ITEM.VALUE1}
2. {ITEM.NAME2} ({HOST.NAME2}:{ITEM.KEY2}): {ITEM.VALUE2}
3. {ITEM.NAME3} ({HOST.NAME3}:{ITEM.KEY3}): {ITEM.VALUE3}'
Не могу понять как заставить в уведомление присылать и предедущие значение ITEM? сейчас заполняется только 1 строка.