Size: a a a

ClickHouse не тормозит

2019 December 13

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander
Может у меня хецнер курильщика?)
????? https://www.hetzner.com/news/traffic-limit/
какой у вас год?
источник

IA

Ivan Ariutkin in ClickHouse не тормозит
Диск в стоке SSD 120, но можно любой попросить
источник

IA

Ivan Ariutkin in ClickHouse не тормозит
Единственный минус что они в BGP не умеют
источник

IA

Ivan Ariutkin in ClickHouse не тормозит
Только могут со своей AS за анонсить одну сеть на один сервер
источник

A

Alexander in ClickHouse не тормозит
Позавчера буквально смотрел, натыкался. Сейчас поищу
источник

SC

Sergey Chistyakov in ClickHouse не тормозит
Всем привет! Разбираемся с Clickhouse, находим следующее - ClickHouse merges data part in an unknown moment of time which we can not predict (речь об CollapsingMergeTree). Можно как то это контролировать, вызывать тогда и только тогда, когда нам это нужно, без этого not predict? Спасибо!
источник

AP

Alexander Petrov in ClickHouse не тормозит
Sergey Chistyakov
Всем привет! Разбираемся с Clickhouse, находим следующее - ClickHouse merges data part in an unknown moment of time which we can not predict (речь об CollapsingMergeTree). Можно как то это контролировать, вызывать тогда и только тогда, когда нам это нужно, без этого not predict? Спасибо!
источник

AP

Alexander Petrov in ClickHouse не тормозит
У меня такое приходится делать из-за того что меняется прошлое и сжатие.
источник

AP

Alexander Petrov in ClickHouse не тормозит
В одном куске сжатие x16, а без оптимизации сильно меньше.
источник

AP

Alexander Petrov in ClickHouse не тормозит
Поэтому OPTIMIZE TABLE изменчивое.прошлое PARTITION toYYYYMM(today() - toIntervalMonth(1)) воимя сжатия
источник

SC

Sergey Chistyakov in ClickHouse не тормозит
Спасибо! Можем мы вообще не так понимаем как нашу задачу решить на Клике (так как первый раз его используем). Так что будем рады совету!
Расклад такой - у нас есть данные о продажах. В день к нам приходят миллионы записей, мы по ним потом считаем статистику всякую. Проблема в том, что к нам периодически приходят корректировки по этим записям, по которым мы должны либо удалить часть записей либо поменять атрибуты. Причем эти корректировки приходят много позже оригинальных записей. Раз в сутки мы хотим иметь возможность снять снепшот таблицы с последними версиями всех записей. Подходит ли нам Клик? И если да, то как лучше сделать механизм обновления данных?
Еще раз спасибо! (Не удаляйте, нам больше некуда идти).
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Chistyakov
Спасибо! Можем мы вообще не так понимаем как нашу задачу решить на Клике (так как первый раз его используем). Так что будем рады совету!
Расклад такой - у нас есть данные о продажах. В день к нам приходят миллионы записей, мы по ним потом считаем статистику всякую. Проблема в том, что к нам периодически приходят корректировки по этим записям, по которым мы должны либо удалить часть записей либо поменять атрибуты. Причем эти корректировки приходят много позже оригинальных записей. Раз в сутки мы хотим иметь возможность снять снепшот таблицы с последними версиями всех записей. Подходит ли нам Клик? И если да, то как лучше сделать механизм обновления данных?
Еще раз спасибо! (Не удаляйте, нам больше некуда идти).
миллионы в день это немного, тупо перезаливайте всю таблицу целиком.
источник

AP

Alexander Petrov in ClickHouse не тормозит
У вас 3 варианта:
1. Перезалив части информации с кратковременным отсутствием части данных в таблице
2. Использование соответствующего табличного движка с поддержкой версионирования
3. ALTER TABLE <name> REPLACE PARTITION ...
источник

AP

Alexander Petrov in ClickHouse не тормозит
Минусы:
1. минус онлайн отчётность
2. плюс накладные расходы на версии
3. минус MV
источник

AP

Alexander Petrov in ClickHouse не тормозит
Плюсы:
1. тупо проще в реализации
2. MV, правда с минусами из опять же п. 2
3. Быстро и просто - можно перезаливать таблицу по партициям
источник

SC

Sergey Chistyakov in ClickHouse не тормозит
Спасибо! У нас данные приходят инкрементально через кафку, кликхаус - единственное хранилище, а суммарное количетсво данных миллиарды, так что перезалив всей таблицы нам не пойдет.
Движки таблиц смотрели, но тут интересен вопрос как долго будет проходить optimize final на миллиардах, учитвая что корректировки приходят к старым данным.
источник

AP

Alexander Petrov in ClickHouse не тормозит
Кафка не гарантирует отсутствия дублей если что.
источник

AP

Alexander Petrov in ClickHouse не тормозит
Проверено вот этими руками 🤲
источник

AP

Alexander Petrov in ClickHouse не тормозит
В случае сбоев возможны повторы повторы
источник

AP

Alexander Petrov in ClickHouse не тормозит
А под "инкрементально" подразумевается двойная запись или повтор транзакции которая изменилась?
источник