Size: a a a

ClickHouse не тормозит

2019 December 05

OD

Olga Daykhovskaya in ClickHouse не тормозит
Там действительно fixed, +- несколько символов
источник

pk

papa karlo in ClickHouse не тормозит
Wolf Kreuzerkrieg
Как его сетапить в смысле скейла? я тут пытаюсь играться с реплицируеми таблицами и у меня ЗК умирает каждые несколько дней, по непонятным причинам. Проц на 100% и сервер не отвечает
ноды заняли всю память и jvm ушла в gc?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
вроде нет, секунда, гляну
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Olga Daykhovskaya
Там действительно fixed, +- несколько символов
и у вас будут проблемы скорее всего и с памятью и со скоростью. Первичный ключ в озу,
у вас primary key (category, direction, field1, field2, field3, field4) , >200 байт.
Не знаю какой размер будет у таблицы (в строках), я бы переделал на хеши (8 байт вместо 50).
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
papa karlo
ноды заняли всю память и jvm ушла в gc?
нет, памяти было много свободной
проц на 100%
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Wolf Kreuzerkrieg
Как его сетапить в смысле скейла? я тут пытаюсь играться с реплицируеми таблицами и у меня ЗК умирает каждые несколько дней, по непонятным причинам. Проц на 100% и сервер не отвечает
сколько размер снепшота у зукипера?  (у меня несколько таблиц по 400млрд, размер базы / снепшота 50МБ)
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
перезапуск не помогает, проц на нуле, но ноды не находят друг друга, не понятно почему
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
сколько размер снепшота у зукипера?  (у меня несколько таблиц по 400млрд, размер базы / снепшота 50МБ)
секунда, девопы их заресайзили сечас, думаю, даты там уже нет
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
проверяю
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
так, по памяти, 10% потребления
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
сколько размер снепшота у зукипера?  (у меня несколько таблиц по 400млрд, размер базы / снепшота 50МБ)
есть что то в этом, если мы стираем всю папку с датой то все работает несколько дней а потом опять сдыхает
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Wolf Kreuzerkrieg
есть что то в этом, если мы стираем всю папку с датой то все работает несколько дней а потом опять сдыхает
эээ в каком смысле стираете?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
эээ в каком смысле стираете?
rm -rf :)
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
это тестовый сетап, можно и стереть все
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Wolf Kreuzerkrieg
это тестовый сетап, можно и стереть все
все ясно, это херня какая-то
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
сколько размер снепшота у зукипера?  (у меня несколько таблиц по 400млрд, размер базы / снепшота 50МБ)
таки мы потеряли всю дату при ресайзе кластера
источник

OD

Olga Daykhovskaya in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы инстертите медленным парсером (из-за select-в), что вообще не подходит для bigdata.
напрямую можно новой функцие input , которая позволяет в insert
INSERT INTO example SELECT id, ifNull(num, -1) FROM input('id UInt32, num Nullable(Int32)') format JSONEachRow {"id": 1, "num": null};


и еще вам можно использовать SimpleAggregateFunction

create table test_table
(
 x Int64,
 cnt   UInt32,
 min_ts SimpleAggregateFunction(min, UInt64)     Codec(LZ4),
 max_ts SimpleAggregateFunction(max, UInt64)    Codec(LZ4)
)
engine = AggregatingMergeTree() order by x


insert into test_table values (1,1,1,1);

insert into test_table values (1,1,2,2);

optimize table test_table final
select * from test_table
>напрямую можно новой функцие input , которая позволяет в insert
INSERT INTO example SELECT id, ifNull(num, -1) FROM input('id UInt32, num Nullable(Int32)') format JSONEachRow {"id": 1, "num": null};

А если
столбец типа AggregateFunction?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
все ясно, это херня какая-то
Это невероятная херня, ни я (ну у меня опыт с ЗК нулевой) ни девопы не могут понять что ему не так, по логам ничего не понять
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
сеичас поставили более жирные инстансы, посмотрим что будет.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
а что там со снепшотами? я предполагаю они довольно жирные будут
источник