Телеграмм чат группы clickhouse

alx

Как прокачать кх по начтройкам

я новичек но там все просто открываешь конфиги и делаешь сжатие и кеши и т.п

21:02пожаловаться #1

G

Добра.

SELECT countIf(ee = 'start' ) AS views , countIf(ee = 'click' ) AS click ,
multiIf(ee = 'start' , SUM(prc) as money )
FROM default.log where cid = 1234

multiIf(ee = 'start' , SUM(prc) as money ) - вот это не работает ..

Как то можно тут получить сумму если ee = 'start' ?

21:03пожаловаться #2

G

Ругается вот так - DB::Exception: Column ee is not under aggregate function and not in GROUP BY.

21:04пожаловаться #3

KK

alx

Есть ман какой нить. Я не про советы по эксплуатации на оф сайте

тут нужно сбалансировать по хардам и памяти . это можно нагуглить как мониторить системы но с этого нужно начать. так как узкое место может просто другое к примеру локалка на 100 мегабит. нужно гонять сжатные данные или наоборот это мониторирование скажет

21:06пожаловаться #4

DC

Kostya Kakunin

это зависит от прикладного ПО. отмониторь если часто уходишь в своп и прокачал кх по настройкам то может и нужно оперативы но нужно наблюдать. нет общих рецептов. если про модели то corsair и crusial самая совместимая память. если у тебя сервер то нужно подбирать регистровую память я думаю

384 Гига не в сервер это хорошо. Какой год у вас?

>регистровую
это называется ECC, коррекция ошибок. Понятие регистровая -- умерло 15 лет назад

>corsair и crusial самая совместимая памят
дада, в сервер. Там хиниксы и кингстоны, и еще например в hp нужны hp-compatible иначе будет плакать и откызваться работать по нормальному.

21:15пожаловаться #5

a

alx in ClickHouse не тормозит

Kostya Kakunin

тут нужно сбалансировать по хардам и памяти . это можно нагуглить как мониторить системы но с этого нужно начать. так как узкое место может просто другое к примеру локалка на 100 мегабит. нужно гонять сжатные данные или наоборот это мониторирование скажет

я про сами ручки, которые можно покрутить, мб переписать запросы. Но прежде чем переписывать нужно разобраться глубже, и порой не понятно. Поэтому и спрашивал про мануал

Сергей Голод... in ClickHouse не тормозит

21:18пожаловаться #6

СГ

Kostya Kakunin

а что там за проблемы?

сделал issue. Не работает вставка из таблиц MySQL. При этом селект, указанный для insert отрабатывает корректно

21:18пожаловаться #7

DC

Gem

Добра.

SELECT countIf(ee = 'start' ) AS views , countIf(ee = 'click' ) AS click ,
multiIf(ee = 'start' , SUM(prc) as money )
FROM default.log where cid = 1234

multiIf(ee = 'start' , SUM(prc) as money ) - вот это не работает ..

Как то можно тут получить сумму если ee = 'start' ?

>multiIf(ee = 'start' , SUM(prc) as money )

sumIf(ee = 'start')

Сергей Голод... in ClickHouse не тормозит

21:19пожаловаться #8

СГ

сломали после версии 19.17.2.4, это последняя рабочая версия где корректно работает insert .... from mysql

21:19пожаловаться #9

KK

Denny Crane (I don't work at Yandex (never did))

384 Гига не в сервер это хорошо. Какой год у вас?

>регистровую
это называется ECC, коррекция ошибок. Понятие регистровая -- умерло 15 лет назад

>corsair и crusial самая совместимая памят
дада, в сервер. Там хиниксы и кингстоны, и еще например в hp нужны hp-compatible иначе будет плакать и откызваться работать по нормальному.

объем озу нужно не по максиму а с умом и может у него персоналочка на 128 г рамы раз так спрашивает. а hp это барахло вроде как не вижу в них ничего хорошего. как раз вышла новость что нр облажался с ссд серверными. так что это не люди которые с головой дружат

21:24пожаловаться #10

G

sumIf(ee = 'start') а это куда SUM(prc)

21:24пожаловаться #11

G

О вот так заработало
sumIf( prc , ee = 'start' ) as money
Спасибо

21:26пожаловаться #12

KK

alx

я про сами ручки, которые можно покрутить, мб переписать запросы. Но прежде чем переписывать нужно разобраться глубже, и порой не понятно. Поэтому и спрашивал про мануал

подними монитор ресурсов . это прояснит узкие места. как все равно нужно это делать так как это частное ПО. свои особенности

Bral Bral in ClickHouse не тормозит

21:29пожаловаться #13

BB

Дополнительные индексы , они же experemental_data_skipping индексы кто - то использует ? Какие-то подводные камни есть ? Слышал про удаление лишних строк при alter delete , но в новых пофиксили уже.

21:43пожаловаться #14

А

А in ClickHouse не тормозит

Bral Bral

Дополнительные индексы , они же experemental_data_skipping индексы кто - то использует ? Какие-то подводные камни есть ? Слышал про удаление лишних строк при alter delete , но в новых пофиксили уже.

Пишут что они менее производительные, чем обычные. Надо тестить на ваших данных.

Mikhail in ClickHouse не тормозит

22:03пожаловаться #15

2019 December 07

M

привет, подскажие плз, если упирается в max_memory_usage_for_all_queries, могут идти такие ошибки?
oException: Allocator: Cannot mmap 1.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace:

или джойнам все равно на этот лимит и mmap сфейлился, потому что памяти нет и скоро ждать оома?

00:36пожаловаться #16

DC

Mikhail

привет, подскажие плз, если упирается в max_memory_usage_for_all_queries, могут идти такие ошибки?
oException: Allocator: Cannot mmap 1.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace:

или джойнам все равно на этот лимит и mmap сфейлился, потому что памяти нет и скоро ждать оома?

какая версия КХ ? Ошибка повторяется если запрос снова выполнить?

Mikhail in ClickHouse не тормозит

00:42пожаловаться #17

M

Denny Crane (I don't work at Yandex (never did))

какая версия КХ ? Ошибка повторяется если запрос снова выполнить?

19.7.3.9, ошибок было много(на тачке почти кончилась память)

Mikhail in ClickHouse не тормозит

00:43пожаловаться #18

M

но потом отпустило

00:44пожаловаться #19

DC

Mikhail

привет, подскажие плз, если упирается в max_memory_usage_for_all_queries, могут идти такие ошибки?
oException: Allocator: Cannot mmap 1.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace:

или джойнам все равно на этот лимит и mmap сфейлился, потому что памяти нет и скоро ждать оома?

нет джойнам не все равно, будет другая ошибка , про лимит. Ошибки Cannot mmap 1.00 GiB быть не должно если все правильно работает.