Size: a a a

ClickHouse не тормозит

2019 December 07

DC

Denny Crane (I don't... in ClickHouse не тормозит
Mikhail
19.7.3.9, ошибок было много(на тачке почти кончилась память)
значит надо уменьшить max_memory_usage_for_all_queries / max_memory_usage, чтобы не ронять КХ, чтобы запросы упирались в лимит.
источник

M

Mikhail in ClickHouse не тормозит
/etc/clickhouse-server/users.xml:            <max_memory_usage>10000000000</max_memory_usage>
/etc/clickhouse-server/users.xml:            <max_memory_usage_for_all_queries>26000000000</max_memory_usage_for_all_queries>


Mem:          32135
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
32 это мало, докиньте свопа 32, если SSD

или max_memory_usage_for_all_queries = 20
источник

M

Mikhail in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
32 это мало, докиньте свопа 32, если SSD

или max_memory_usage_for_all_queries = 20
GB или GiB?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
GB
источник

M

Mikhail in ClickHouse не тормозит
ок, спс, а есть где-нибудь подробная статья, по ch memory usage со всеми кешами и т п?
источник

M

Mikhail in ClickHouse не тормозит
и в рантайме если лимит уменьшить, то все что саллоцировано кх уже не отдаст до рестарта?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Mikhail
ок, спс, а есть где-нибудь подробная статья, по ch memory usage со всеми кешами и т п?
нету, 5GB marks_cache, 8GB uncompressed -- но он выключен по умолчанию
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Mikhail
и в рантайме если лимит уменьшить, то все что саллоцировано кх уже не отдаст до рестарта?
так это лимиты на запрос. Причем тут аллокация вообще. Запрос закончился, память отдал.
источник

M

Mikhail in ClickHouse не тормозит
ясно, спасибо
источник

AS

Antony Say in ClickHouse не тормозит
Всем привет, подскажите в какую сторону смотреть - абстрактно: одновременно выполняю 10 запросов, 7 довольно легких, 3 тяжелых; ответы на 7 легких запросов прилетают нормально, а на 3 тяжелых с 80% вероятностью получаю connection refused; оперативка выжирается по максимуму еще на "легких" запросах, в логах смущает
2019.12.07 12:40:31.306470 [ 1 ] {} <Information> : Starting ClickHouse 19.14.3.3 with revision 54425
2019.12.07 12:40:31.309148 [ 1 ] {} <Information> Application: starting up
2019.12.07 12:40:31.339104 [ 1 ] {} <Trace> Application: Will mlockall to prevent executable memory from being paged out. It may take a few seconds.
2019.12.07 12:40:31.378121 [ 1 ] {} <Trace> Application: The memory map of clickhouse executable has been mlock'ed
источник

AK

Alexander Kononov in ClickHouse не тормозит
А чем смущает? Там пишут что кх попросил ос не выкидывать в своп страницы с его кодом, вроде логично
источник

AS

Antony Say in ClickHouse не тормозит
Alexander Kononov
А чем смущает? Там пишут что кх попросил ос не выкидывать в своп страницы с его кодом, вроде логично
Я к тому что происходит рестарт
источник

AK

Alexander Kononov in ClickHouse не тормозит
а в dmesg ничего не пишут? ну там оом или гпф пришел забрать душу кх
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
setcap cap_net_admin=-ep /usr/bin/clickhouse
и перезапустить КХ
подейстовало, ошибки изчезли, спасибо
источник

KK

Kostya Kakunin in ClickHouse не тормозит
я хочу прилинковать базу на посгресс и у меня проблемы — тип number не понимает яндекс, что нужно написать?
select * from jdbc('jdbc:postgresql://мой_ip:5432/моя_срока_подключения', 'MY_SCHEMA', 'MY_TABLE') as k;

Code: 86, e.displayText() = DB::Exception: Received error from remote server /columns_info?connection_string HTTP status code: 500 Can not map SQL type 2 (NUMERIC) to ClickHouse, body: Can not map SQL type 2 (NUMERIC) to ClickHouse (version 19.17.4.11 (official build))
источник

KK

Kostya Kakunin in ClickHouse не тормозит
вот как у меня в PostgreSQL

CREATE TABLE MY_SCHEMA.MY_TABLE
(
 id numeric NOT NULL,
 event_type numeric NOT NULL, ....

вот по методике яндекса https://clickhouse.yandex/docs/ru/query_language/table_functions/jdbc/
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Ivan Blinkov
Мы сейчас занимаемся приоритезацией задач по дальнейшему улучшению документации ClickHouse и чтобы сделать это правильно, нам нужна обратная связь от вас. Если готовы помочь нам, заполните, пожалуйста, вот эту небольшую форму: https://forms.yandex.ru/surveys/10014882

Тем временем, следующий ClickHouse митап в Москве состоится уже через неделю, 11 декабря: https://yandex.ru/promo/clickhouse/moscow-december-2019
Количество мест ограничено, так что стоит поспешить записаться, но live трансляцию тоже собираемся делать.
Факу FAQ у вас нет и умной вики с описанием кодов ошибок и похоже что бы понять ваш код нужно лесть в сорцы, но я не знаю С++ и нужно платить кто юзает ваш код (последнее шутка)
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Kostya Kakunin
я хочу прилинковать базу на посгресс и у меня проблемы — тип number не понимает яндекс, что нужно написать?
select * from jdbc('jdbc:postgresql://мой_ip:5432/моя_срока_подключения', 'MY_SCHEMA', 'MY_TABLE') as k;

Code: 86, e.displayText() = DB::Exception: Received error from remote server /columns_info?connection_string HTTP status code: 500 Can not map SQL type 2 (NUMERIC) to ClickHouse, body: Can not map SQL type 2 (NUMERIC) to ClickHouse (version 19.17.4.11 (official build))
@den_crane можешь помочь гугу?  скажи путь куда рыть плиз
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kostya Kakunin
@den_crane можешь помочь гугу?  скажи путь куда рыть плиз
нет. Мне это не интересно. Зачем кстати jdbc мост. Я бы использовал стандартный -- odbc.

Кстати jdbc мост разработка не яндекса а баду.
источник