Size: a a a

ClickHouse не тормозит

2019 December 03

qq

qq qq in ClickHouse не тормозит
в каком файле?
источник

SC

Sergey Cheparukhin in ClickHouse не тормозит
Vadim Kulibaba
Добрый день. У меня есть такая проблема. Пул серверов шлет инсерты в КХ, примерно так:

клиент 1 - INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')
клиент 2 - INSERT INTO table3 (c1, c2, c3) VALUES ('v4', 'v5', 'v6')
..

Ему тяжеловато от этого. Я хочу их тупо запайплайнить, и слать пакет одним запросом, вот так:

прокси1 -  INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')\r\nINSERT INTO table3 (c1, c2, c3) VALUES ('v4', 'v5', 'v6')

И отправлять одним запросом раз в секунду - накопленное количество.

- поддерживает ли парсер КХ вот такой вот, или какой то другой пайплайнинг?
- поможет ли это КХ зажить весело и счастливо, или мне надо всенепременно упарываться парсером, переформатировать и слать вот так: INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')('v4', 'v5', 'v6') ?

Заранее спасибо!
Memory buffer не поможет?
источник

VK

Vadim Kulibaba in ClickHouse не тормозит
Sergey Cheparukhin
Memory buffer не поможет?
нет
источник

PB

Paul Boo in ClickHouse не тормозит
в профиле пользователя, в users.xml
источник

SC

Sergey Cheparukhin in ClickHouse не тормозит
Вообще поддерживает
источник

qq

qq qq in ClickHouse не тормозит
max_memory_usage какое оптимальное значение для сервера 64 гб ОЗУ?
источник

qq

qq qq in ClickHouse не тормозит
55 гигов хватит?
источник

qq

qq qq in ClickHouse не тормозит
сейчас 37
источник

qq

qq qq in ClickHouse не тормозит
повлияет ли это на что то?
источник

E

Elyor in ClickHouse не тормозит
Vadim Kulibaba
Добрый день. У меня есть такая проблема. Пул серверов шлет инсерты в КХ, примерно так:

клиент 1 - INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')
клиент 2 - INSERT INTO table3 (c1, c2, c3) VALUES ('v4', 'v5', 'v6')
..

Ему тяжеловато от этого. Я хочу их тупо запайплайнить, и слать пакет одним запросом, вот так:

прокси1 -  INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')\r\nINSERT INTO table3 (c1, c2, c3) VALUES ('v4', 'v5', 'v6')

И отправлять одним запросом раз в секунду - накопленное количество.

- поддерживает ли парсер КХ вот такой вот, или какой то другой пайплайнинг?
- поможет ли это КХ зажить весело и счастливо, или мне надо всенепременно упарываться парсером, переформатировать и слать вот так: INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')('v4', 'v5', 'v6') ?

Заранее спасибо!
попробуйте clickhouse-bulk
источник

E

Elyor in ClickHouse не тормозит
источник

qq

qq qq in ClickHouse не тормозит
а какая настройка отвечат за количество ядер что может юзать кликхаус?
источник

VK

Vadim Kulibaba in ClickHouse не тормозит
Elyor
попробуйте clickhouse-bulk
Попробовал. 16.987g в свопе после вставки 100к, 18, после вставки следующих 100к.
источник

N

Nik in ClickHouse не тормозит
why?
источник

VK

Vadim Kulibaba in ClickHouse не тормозит
Sergey Cheparukhin
Вообще поддерживает
я предполагаю что вот этот запрос:  INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')
Внутри - превращается вот в такой пул запросов:
с1 -> v1
с2 -> v2
Тк КХ - колоночная субд => нет никакого смысла приводить запросы к виду:
INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')('v4', 'v5', 'v6')
Так как все равно распарсится на примитивы. Но.

Всё зависит от реализации записи. Если они делают так:
file.write(с1,  v1)
file.fsync()
То будет тормозить. А если делают fsync по таймеру, раз в секунду, например - то тормозить не будет. Обычно - красавчики делают fsync по таймеру - или отдают это ОС. Но если они не красавчики, то нужно запилить парсер и слать одним запросом(
источник

VK

Vadim Kulibaba in ClickHouse не тормозит
но это все мои предположения )
источник

ММ

Михаил Мельников... in ClickHouse не тормозит
Добрый день. Столкнулся с проблемой при установке clickhouse-client на Mac OS. Утанавливаю как здесь написано: (https://github.com/arduanov/homebrew-clickhouse)
Во время установки выдает варнинг, но устанавливается. А при попытке запустить clickhouse-client падает ошибка. Кто-то сталкивался с подобным?
источник

НК

Николай Крупий... in ClickHouse не тормозит
Telegram
Moscow Data Meetups
ПОДРОБНЕЕ О СПИКЕРАХ И ДОКЛАДАХ:

Павел Денисенко, главный архитектор данных X5 Retail Group, занимался проектированием логической архитектуры аналитических платформ, моделей и потоков данных. За его плечами проекты построения DWH в МегаФоне, М.Видео, Tinkoff, Икано Банке, X5 Retail Group.

На нашем митапе Павел выступит с докладом «Адаптация методологии DataVault 2.0 для задачи построения Enterprise Data Warehouse в X5».

Ключевые моменты:
- как выглядит целевая логическая архитектура EDW;
- какую роль в EDW играет #DataVault 2.0;
- опыт применения DV2: вопросы/ решения, не описанные в книжках;
- автоматизация разработки DV2;
- открытые вопросы.

-----------------
Сфера деятельности Алексея Рябова, архитектора DWH в Tinkoff, включает репликацию данных из операционных источников в несколько кластеров Greenplum, синхронизацию данных между несколькими кластерами Greenplum и другие инфраструктурные проекты DWH.

Его доклад «Проект DUET: синхронизация данных между несколькими кластерами Greenpum. Опыт в Tinkoff»…
источник

qq

qq qq in ClickHouse не тормозит
какой параметр в конфиг файле отвечаете за CPU?
источник

qq

qq qq in ClickHouse не тормозит
сколько ядер юзать и дт
источник