Size: a a a

ClickHouse не тормозит

2019 December 16

В

Вадим in ClickHouse не тормозит
Николай Моисеенко
дополнять, как я и говорил - сделать снепшот мы можем, требуется дополнять его постоянно для содержания в CH консистентных данных, аналогичных PG
Первое что приходит в голову, после инсерта отправлять в очередь, где будет агрегат который инсертит батчами в кх. Совсем риалтайм не получится. Все таки пг и кх по разному живут. Частый инсерт кх не любит. С debezium я к сожалению не знаком. Потому оценить адекватность своего предложенного топорного решения с твоим не могу
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
при этом, за счет дополнения, мы можем отследить историю изменений записей в разрезе времени
источник

В

Вадим in ClickHouse не тормозит
Если у тебя аналитики срезы смотрят, то лучше конечно снепшоты им давать полные. Во всяком случае мои очень так любят
источник

LU

Lars Ulrich in ClickHouse не тормозит
Всем привет. Нормально ли будет делать парты по дням, и в случае потери инфы просто дропать партицию и заново заливать инфу за сутки?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Lars Ulrich
Всем привет. Нормально ли будет делать парты по дням, и в случае потери инфы просто дропать партицию и заново заливать инфу за сутки?
если сутки заливаются больше 12 часов, то ненормально.
источник

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
если сутки заливаются больше 12 часов, то ненормально.
не, там инфы немного, в пределах 5-7М строк, таблица не широкая. получается, в будущем можно схлопотать себе гемор с большим количеством партов, так?
источник

В

Вадим in ClickHouse не тормозит
Lars Ulrich
не, там инфы немного, в пределах 5-7М строк, таблица не широкая. получается, в будущем можно схлопотать себе гемор с большим количеством партов, так?
365 партиций в год же
источник

LU

Lars Ulrich in ClickHouse не тормозит
Вадим
365 партиций в год же
иногда 366) а при каком количестве партов начинается геморрой, есть инфа?
источник

В

Вадим in ClickHouse не тормозит
1 патриция один файл. При инсерте сортируется одна партиция
источник

В

Вадим in ClickHouse не тормозит
Я не думаю что до 1000 какие то проблемы
источник

В

Вадим in ClickHouse не тормозит
Тем более можно индекс сделать не не каждую запись
источник

DT

Dmitry Titov in ClickHouse не тормозит
Вадим
Я не думаю что до 1000 какие то проблемы
на таблицу или на весь сервер?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Lars Ulrich
не, там инфы немного, в пределах 5-7М строк, таблица не широкая. получается, в будущем можно схлопотать себе гемор с большим количеством партов, так?
ну при дневных партициях, за год будет 365 партиций, это не так много, запросы конечно будут чуть медленее работать при 100 партициях вместо 10 в запросе. Но в общем если другого выхода нет, и запросы работают за небольшой период -- то жить можно.

проблемы будут при 10тыс партиций, если в таблице сотни полей
источник

В

Вадим in ClickHouse не тормозит
Могу быть не прав
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Вадим
1 патриция один файл. При инсерте сортируется одна партиция
партиция = число колонок * 2 (3) файлов
источник

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну при дневных партициях, за год будет 365 партиций, это не так много, запросы конечно будут чуть медленее работать при 100 партициях вместо 10 в запросе. Но в общем если другого выхода нет, и запросы работают за небольшой период -- то жить можно.

проблемы будут при 10тыс партиций, если в таблице сотни полей
Дэн как всегда на высоте. Спасибо!
источник

В

Вадим in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
партиция = число колонок * 2 (3) файлов
Да, я понял даже почему, сорян
источник

ИТ

Илья Тишкин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
партиция = число колонок * 2 (3) файлов
+ LC ещё
источник

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну при дневных партициях, за год будет 365 партиций, это не так много, запросы конечно будут чуть медленее работать при 100 партициях вместо 10 в запросе. Но в общем если другого выхода нет, и запросы работают за небольшой период -- то жить можно.

проблемы будут при 10тыс партиций, если в таблице сотни полей
те партицие что clickhouse отбрасывает сразу по условию включатся в количество партиций учавствующих в запросе?
источник

В

Вадим in ClickHouse не тормозит
У нас есть таблици в которых партиция на день. И кажется, полтора года срок эксплуатации таких таблиц
источник