Size: a a a

ClickHouse не тормозит

2021 July 05

S

Slach in ClickHouse не тормозит
под макросами имеется ввиду system.macros ?
или просто какие то другие поля из БД?
источник

AR

Alex Ryndin in ClickHouse не тормозит
мне это мало подходит, нужно отрендерить строки с макросами из system.tables
источник

AR

Alex Ryndin in ClickHouse не тормозит
system.macros
источник

S

Slach in ClickHouse не тормозит
в смысле у вас в system.tables есть engine_full
и вам в нем надо подставить значения макросов?

SELECT replaceAll(engine_full, '{cluster}',getMacro('cluster')) FROM system.tables ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ну можно сделать через getMacro + replaceAll
источник

AR

Alex Ryndin in ClickHouse не тормозит
всё так, просто в некоторых местах встречаются разные макросы, и заранее не всегда можно сказать сколько их будет
но ответ мне подходит думаю, спасибо
хотя странно что в клике нет какой-то функции для рендеринга строк с макросами
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Хаюшке 🙋🏻‍♂️, насколько будет правильно ставить на таблицу TTL год, партицию по месяцам, и на парочку тяжелых колонок TTL по дню? Сейчас так сделано и у меня есть ощущение, что именно поэтому кх не может смерджить какие то куски. Ругается на
Cannot read all array values: read just 47299 of 125861
и
Part 202107_3406_3406_0 is covered by 202107_3406_3406_1 but should be merged into 202107_3406_3413_1. This shouldn't happen often
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Всем привет.
Есть таблица AggregatingMT, из неё раз в день переливаем данные в обычную MT при помощи запроса insert into MT select * from AggregatingMT final.
При этом если запрос выполняется штатно ночью, то всё хорошо. Но если пробую выполнить его днём (например, надо что-то обновить, не дожидаясь следующего дня), то почти всегда получаю ошибку ZooKeeper session has been expired.
Я так понял, что скорее всего проблема в настройках ЗК. Подскажите, пожалуйста, куда копать? Есть ли какие-нибудь рекомендации по настройке ЗК для работы с КХ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
КХ и вертика и сноуфлейк немного для разного. Например клаудфлер не может использовать сноуфлейк, это бессмысленно дорого, или например тесла не может поставить в автомобиль сноуфлейк, а КХ может (это я фантазирую) (такие случаи есть, КХ поставляется как часть аппаратного комплекса, в сотнях тысяч устройств)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
сколько партов создается инсертом?
ЗК на одной ноде с КХ ? Есть полный лог или трейс  инсерта?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
это две разные ошибки, ничего такого TTL вызывать не должен
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
макросы просто не для этого. В КХ есть например функция format(' {} {}....
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
вам sum( =200 ) нужен.
count(X)  считает кол-во СТРОК где поле X не null
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
тем не менее встречаются друг за дружкой в бесконечном цикле попыток мерджей. Обновился до последней версии, но ситуация та же
источник

V

Vitaly in ClickHouse не тормозит
да
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
TTL на поле с массивом?
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Да,
response.request Array(String) TTL stats_day + toIntervalDay(1),
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ясно, nested предполагает что кол-во элементов всегда одинаковое во всех полях и плюс надо делать TTL немного иначе
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
есть вот такой формат выхлопа
https://clickhouse.tech/docs/ru/interfaces/formats/#format-template
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
В доке к сожалению есть только один пример для простого Int. Можете подсказать как нужно переделать для более сложных типов? Или куда обратиться за информацией. Правильно понимаю что когда кх удаляет массив, то он не сходится по длине с другими nested полями и выдаёт ошибку?
источник