Size: a a a

ClickHouse не тормозит

2021 July 08

DG

Dorian Grеy in ClickHouse не тормозит
Я хочу переместить партиции в холодный архив
источник

DG

Dorian Grеy in ClickHouse не тормозит
Они мне не нужны на сервере
источник

DG

Dorian Grеy in ClickHouse не тормозит
Они за 2018 а места кушают много
источник

DG

Dorian Grеy in ClickHouse не тормозит
Но с возможностью использования позже
источник

DG

Dorian Grеy in ClickHouse не тормозит
Если нужны будут
источник

K

Kid in ClickHouse не тормозит
ну в таком случае я бы сделал freeze partition, а потом drop partition. Но возможно, просто detach тоже хороший метод. Насколько я знаю detach реплицируется, то есть данные забудутся на всех репликах, freeze не реплицируется.
источник

DG

Dorian Grеy in ClickHouse не тормозит
Понял!
источник

DG

Dorian Grеy in ClickHouse не тормозит
Спасибо большое
источник

DG

Dorian Grеy in ClickHouse не тормозит
Shadow как я понял только для freeze и тоже может быть удален
источник

K

Kid in ClickHouse не тормозит
вам их нужно будет скопировать в другое место(другой сервер/диск), и потом положить обратно?
источник

DG

Dorian Grеy in ClickHouse не тормозит
Да.
источник

K

Kid in ClickHouse не тормозит
да
источник

K

Kid in ClickHouse не тормозит
мб лучше подскажут, почему в таком случае можно/нельзя делать detach. Но пока выглядит так, что и detach подходит, если вы хотите отсоединить данные, и потом их переместить и почистить все в detached.
источник

DG

Dorian Grеy in ClickHouse не тормозит
Выглядит то что нужно
Спасибо
Попробую в дабе
источник

PL

Paul ❌ Loyd in ClickHouse не тормозит
Привет, есть вопрос касательно агрегатных функций и NaN, возможно кто-то сталкивался.

Есть таблица, куда идут некторые метрики, по которым рисуются графики. Т.к. масштаб при отрисовке может быть разный, то есть несколько MV, агрегирующие min/max/sum/var/etc по секунде/минуте/часу, чтобы ускорять запросы и не группировать с raw данных.

Проблема в том, что при агрегации хочется пропускать не finite значения (для простоты только NaN) и оставлять в результирующей выборке их только в том случае, если все значения были nan.

Если использовать столбец minIf AggregateFunction(minIf, Float64, UInt8)
и при агрегации     minIfState(value, isFinite(value)) AS min,
то работает почти как нужно: nan действительно не учитываются.
Однако, если все значения были nan, то результат получается 0:
SELECT minIfMerge(s) FROM (SELECT minIfState(42, isFinite(NaN)) s);

выдаёт 0

Как лучше всего обойти эту проблему и получить в результате nan?
источник

PL

Paul ❌ Loyd in ClickHouse не тормозит
Пока придумал только костыль с проверкой if(finite_count > 0, minIfMerge(...), NaN), но может есть что-то лучше?
источник

СС

Саша Суббота... in ClickHouse не тормозит
Привет, для кх есть разница между запросами
select arrayFirst(....) as mynum,
           mynum +1 as mynum1,
           mynum+ 2 as mynum2

select arrayFirst(....) +1 as mynum1,
           arrayFirst(... ) +2 as mynum2

в плане оптимизации есть ли разница между этими запросами, или во втором случае  arrayFirst(... ) посчитается 1 раз и поучаствует в обоих расчетах?
источник

S

Slach in ClickHouse не тормозит
в первом случае три раза будет считаться
во втором два
не знаю будет это исправлено вот тут или нет
https://github.com/ClickHouse/ClickHouse/pull/23367

ну и сделайте EXPLAIN PIPELINE
посмотрите там должно показываться
источник

AS

Andrey Smirnov in ClickHouse не тормозит
Добрый день коллеги, есть вопрос как вставлять данные в таблицу из приложения.
Использую clickhouse-jdbc, есть коллекция объектов, перевожу их в json и пытаюсь вставить.
Код примерно как в примере:
val sb = new StringBuilder()
events.map(ev => json.eventToString(ev)).foreach(s => sb.append(s +"\n"))
val stream = new ByteArrayInputStream(sb.toString().getBytes("UTF-8") )
try {
    sth.write().sendToTable(table, stream, ClickHouseFormat.JSONStringEachRow)
} catch {
    case ex: java.sql.SQLException => log.error("An error occurred when inserting data into clickhouse", ex)
}

получаю эксептион DB::Exception: Format JSONStringEachRow is not suitable for input (with processors)
в юнит тестах не нашел примера, может кто подсказать?
источник

К

Константин in ClickHouse не тормозит
Здравствуйте, как работаь с explain запросами, точней через что можно их выполнять ?
источник