Size: a a a

ClickHouse не тормозит

2019 December 05

DC

Denny Crane (I don't... in ClickHouse не тормозит
Aleksey Akulovich
Всем привет.
А может кто-нибудь подсказать, как понять, чем занята мутация? Запущена давно, счетчик партиций уменьшается понемногу, на нагрузка на сервер почти что никакущая. Чего он ждет, во что упирается?
sar -d 1 100
источник

AA

Aleksey Akulovich in ClickHouse не тормозит
Гляну. Но графана и нетдата ничего интересного не показывают.
источник

AA

Aleksey Akulovich in ClickHouse не тормозит
Ну, там таже утилизация 20%, что и ожидалось. Бездельничает.
источник

AV

Andrey Volkov in ClickHouse не тормозит
Добрый вечер. Подскажите, имеется ли какой-либо калькулятор для примерного подсчета количества серверов/железа и т.д. для ClickHouse под определенный объём данных?
источник

AA

Aleksey Akulovich in ClickHouse не тормозит
В общем, alter table T1 where (select from T2) очень плохо работает. А если заранее собрать ответ селекта, то alter table T1 where (1, 2,3,4 ...) работает отлично.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Volkov
Добрый вечер. Подскажите, имеется ли какой-либо калькулятор для примерного подсчета количества серверов/железа и т.д. для ClickHouse под определенный объём данных?
нет. У меня есть таблица А, загружаю в нее 100ГБ сырых, таблица получается 1ГБ, есть другая таблица B, заливаю в нее 100ГБ, получается 150ГБ
источник

N

Nikolay in ClickHouse не тормозит
Andrey Volkov
Добрый вечер. Подскажите, имеется ли какой-либо калькулятор для примерного подсчета количества серверов/железа и т.д. для ClickHouse под определенный объём данных?
А вы что хотите подсчитать ?
источник

AV

Andrey Volkov in ClickHouse не тормозит
Nikolay
А вы что хотите подсчитать ?
Про калькулятор «железа» я, наверное, всё-таки не в ту степь увёл :) но, скажем, мы в принципе хотим понять подойдёт ли нам CH, если нам необходимо залить в таблицу 150млрд записей, сколько она будет весить в CH, какой будет коэффициент сжатия. И будет ли ворочаться аналитика типа sum() group by...
источник

AV

Andrey Volkov in ClickHouse не тормозит
Пример данных:
источник

AV

Andrey Volkov in ClickHouse не тормозит
источник

ДЛ

Дмитрий Лукьянов... in ClickHouse не тормозит
Andrey Volkov
Про калькулятор «железа» я, наверное, всё-таки не в ту степь увёл :) но, скажем, мы в принципе хотим понять подойдёт ли нам CH, если нам необходимо залить в таблицу 150млрд записей, сколько она будет весить в CH, какой будет коэффициент сжатия. И будет ли ворочаться аналитика типа sum() group by...
Да, никто неподскажет вам. Тут же всё исключительно от данных ваших зависит. Какая кардинальность в каждом из столбцов.
источник

ДЛ

Дмитрий Лукьянов... in ClickHouse не тормозит
Выше приводили пример, что может ужаться из 100 ГБ в 1 ГБ, а может и 150 ГБ стать
источник

ДЛ

Дмитрий Лукьянов... in ClickHouse не тормозит
Если вся таблица такая, то сожмётся очень хорошо. Тут много дублей.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Volkov
Про калькулятор «железа» я, наверное, всё-таки не в ту степь увёл :) но, скажем, мы в принципе хотим понять подойдёт ли нам CH, если нам необходимо залить в таблицу 150млрд записей, сколько она будет весить в CH, какой будет коэффициент сжатия. И будет ли ворочаться аналитика типа sum() group by...
берете 10млрд. и грузите в виртуалку в ноутбуке. Смотрите сколько получилось на диске, прогоняете group by.
источник
2019 December 06

AN

Alexandr Novikov in ClickHouse не тормозит
подскажите, как написать запрос так, чтобы он вернул что-то, в случае если при выполнении where ничего не найдено или результат, если нашлось что-то?
источник

S

Sergey in ClickHouse не тормозит
Сделать лефт джойн (константу с запросом)
источник

ЕГ

Евгений Гаврилов... in ClickHouse не тормозит
Доброе время суток, подскажите в какю сторону копать. Есть такая ошибка  
2019.12.05 14:17:21.982194 [ 337212 ] {606c4c80-5008-4b22-9bb9-4faa1559c5f6} <Error> executeQuery: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe, while writing to socket (ip:39432), e.what() = DB::NetException (from ip:39432) (in query: SELECT user_id, uid FROM my_table), Stack trace:
2019.12.05 14:17:21.982356 [ 337212 ] {606c4c80-5008-4b22-9bb9-4faa1559c5f6} <Warning> TCPHandler: Client has gone away.

На клиенте я получаю ошибку: bad connection
источник

S

Slach in ClickHouse не тормозит
Евгений Гаврилов
Доброе время суток, подскажите в какю сторону копать. Есть такая ошибка  
2019.12.05 14:17:21.982194 [ 337212 ] {606c4c80-5008-4b22-9bb9-4faa1559c5f6} <Error> executeQuery: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe, while writing to socket (ip:39432), e.what() = DB::NetException (from ip:39432) (in query: SELECT user_id, uid FROM my_table), Stack trace:
2019.12.05 14:17:21.982356 [ 337212 ] {606c4c80-5008-4b22-9bb9-4faa1559c5f6} <Warning> TCPHandler: Client has gone away.

На клиенте я получаю ошибку: bad connection
на чем написан клиент?
какие firewall \ nat \ кубернетесы стоят между клиентом и сервером?
какие таймауты на клиенте для TCP выставлены?
источник

ЕГ

Евгений Гаврилов... in ClickHouse не тормозит
Slach
на чем написан клиент?
какие firewall \ nat \ кубернетесы стоят между клиентом и сервером?
какие таймауты на клиенте для TCP выставлены?
Клиент написан на Go и размещен в кубере, используется библиотека github.com/kshvakov/clickhouse.
источник

ЕГ

Евгений Гаврилов... in ClickHouse не тормозит
Насчет таймаутов TCP посмотрю.
источник