В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3886 membersпожаловаться на группу
2019 December 16

В

Вадим in ClickHouse не тормозит
Николай Моисеенко
дополнять, как я и говорил - сделать снепшот мы можем, требуется дополнять его постоянно для содержания в CH консистентных данных, аналогичных PG
Первое что приходит в голову, после инсерта отправлять в очередь, где будет агрегат который инсертит батчами в кх. Совсем риалтайм не получится. Все таки пг и кх по разному живут. Частый инсерт кх не любит. С debezium я к сожалению не знаком. Потому оценить адекватность своего предложенного топорного решения с твоим не могу
источник
18:00пожаловаться#1

НМ

Николай Моисеенко... in ClickHouse не тормозит
при этом, за счет дополнения, мы можем отследить историю изменений записей в разрезе времени
источник
18:00пожаловаться#2

В

Вадим in ClickHouse не тормозит
Если у тебя аналитики срезы смотрят, то лучше конечно снепшоты им давать полные. Во всяком случае мои очень так любят
источник
18:01пожаловаться#3

LU

Lars Ulrich in ClickHouse не тормозит
Всем привет. Нормально ли будет делать парты по дням, и в случае потери инфы просто дропать партицию и заново заливать инфу за сутки?
источник
18:04пожаловаться#4

DC

Denny Crane (I don't... in ClickHouse не тормозит
Lars Ulrich
Всем привет. Нормально ли будет делать парты по дням, и в случае потери инфы просто дропать партицию и заново заливать инфу за сутки?
если сутки заливаются больше 12 часов, то ненормально.
источник
18:06пожаловаться#5

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
если сутки заливаются больше 12 часов, то ненормально.
не, там инфы немного, в пределах 5-7М строк, таблица не широкая. получается, в будущем можно схлопотать себе гемор с большим количеством партов, так?
источник
18:09пожаловаться#6

В

Вадим in ClickHouse не тормозит
Lars Ulrich
не, там инфы немного, в пределах 5-7М строк, таблица не широкая. получается, в будущем можно схлопотать себе гемор с большим количеством партов, так?
365 партиций в год же
источник
18:10пожаловаться#7

LU

Lars Ulrich in ClickHouse не тормозит
Вадим
365 партиций в год же
иногда 366) а при каком количестве партов начинается геморрой, есть инфа?
источник
18:11пожаловаться#8

В

Вадим in ClickHouse не тормозит
1 патриция один файл. При инсерте сортируется одна партиция
источник
18:11пожаловаться#9

В

Вадим in ClickHouse не тормозит
Я не думаю что до 1000 какие то проблемы
источник
18:11пожаловаться#10

В

Вадим in ClickHouse не тормозит
Тем более можно индекс сделать не не каждую запись
источник
18:12пожаловаться#11

DT

Dmitry Titov in ClickHouse не тормозит
Вадим
Я не думаю что до 1000 какие то проблемы
на таблицу или на весь сервер?
источник
18:12пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Lars Ulrich
не, там инфы немного, в пределах 5-7М строк, таблица не широкая. получается, в будущем можно схлопотать себе гемор с большим количеством партов, так?
ну при дневных партициях, за год будет 365 партиций, это не так много, запросы конечно будут чуть медленее работать при 100 партициях вместо 10 в запросе. Но в общем если другого выхода нет, и запросы работают за небольшой период -- то жить можно.

проблемы будут при 10тыс партиций, если в таблице сотни полей
источник
18:12пожаловаться#13

В

Вадим in ClickHouse не тормозит
Могу быть не прав
источник
18:12пожаловаться#14

DC

Denny Crane (I don't... in ClickHouse не тормозит
Вадим
1 патриция один файл. При инсерте сортируется одна партиция
партиция = число колонок * 2 (3) файлов
источник
18:13пожаловаться#15

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну при дневных партициях, за год будет 365 партиций, это не так много, запросы конечно будут чуть медленее работать при 100 партициях вместо 10 в запросе. Но в общем если другого выхода нет, и запросы работают за небольшой период -- то жить можно.

проблемы будут при 10тыс партиций, если в таблице сотни полей
Дэн как всегда на высоте. Спасибо!
источник
18:13пожаловаться#16

В

Вадим in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
партиция = число колонок * 2 (3) файлов
Да, я понял даже почему, сорян
источник
18:13пожаловаться#17

ИТ

Илья Тишкин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
партиция = число колонок * 2 (3) файлов
+ LC ещё
источник
18:13пожаловаться#18

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну при дневных партициях, за год будет 365 партиций, это не так много, запросы конечно будут чуть медленее работать при 100 партициях вместо 10 в запросе. Но в общем если другого выхода нет, и запросы работают за небольшой период -- то жить можно.

проблемы будут при 10тыс партиций, если в таблице сотни полей
те партицие что clickhouse отбрасывает сразу по условию включатся в количество партиций учавствующих в запросе?
источник
18:13пожаловаться#19

В

Вадим in ClickHouse не тормозит
У нас есть таблици в которых партиция на день. И кажется, полтора года срок эксплуатации таких таблиц
источник
18:13пожаловаться#20