Телеграмм чат группы clickhouse

13:19пожаловаться #1

F🚜

Jack

Скажите а ZooKeeper в ClickHouse используется исключительно для репликации данных?
Сегодня во время того как отвалился ZooKeeper пытались выполнить:

DROP TABLE IF EXISTS tmp.table ON CLUSTER cluster_name

На что получали ошибку:

Coordination::Exception. Coordination::Exception: All connection tries failed while connecting to ZooKeeper. Addresses: 127.127.127.127:2181, 127.127.127.127:2181

Версия Clickhouse: 19.15.3.6

Если таблица реплицируемая, то для операций с нею нужны ЗК

Jack in ClickHouse не тормозит

13:20пожаловаться #2

J

Нет, таблица создаётся так:

        CREATE TABLE tmp.table ON CLUSTER cluster_name  (
          `date` Date,
          `id` UInt64,
          `some_data_one` String,
          `some_data_two` UInt64
        ) ENGINE = Log

Maksim Statsenko in ClickHouse не тормозит

13:21пожаловаться #3

MS

Alex Shagrov

Попробуй - расскажешь

Попробовал и он не ругнулся) попробовал по ошибке. Теперь интересно, что же там произошло и к чему привело

Mikhail V in ClickHouse не тормозит

13:21пожаловаться #4

MV

Jack

Скажите а ZooKeeper в ClickHouse используется исключительно для репликации данных?
Сегодня во время того как отвалился ZooKeeper пытались выполнить:

DROP TABLE IF EXISTS tmp.table ON CLUSTER cluster_name

На что получали ошибку:

Coordination::Exception. Coordination::Exception: All connection tries failed while connecting to ZooKeeper. Addresses: 127.127.127.127:2181, 127.127.127.127:2181

Версия Clickhouse: 19.15.3.6

ты делаешь on cluster а это редестрибьютед запрос

13:22пожаловаться #5

F🚜

а, так ведь on cluster. Это создаёт таску в ZK

Jack in ClickHouse не тормозит

13:22пожаловаться #6

J

О, не знал, спасибо за ответ.

13:22пожаловаться #7

F🚜

Felixoid 🚜🇩🇪

Доброго утра. Я наткнулся на проблему, что date_time_input_format = 'best_effort' почему-то не помогает распарсить валидный iso8601 2019-12-12T10:32:32+01:00. Кто-то решал подобную проблему?

SELECT toDateTime('2019-12-12T10:32:32+01:00')
Code: 6. DB::Exception: Received from localhost:9000. DB::Exception: Cannot parse string '2019-12-12T10:32:32+01:00' as DateTime: syntax error at position 19 (parsed just '2019-12-12T10:32:32').

если убрать +01:00, то работает

ок, нашёл ответ. toDateTime использует не тот же самый парсер, что и при вставке. Если сделать, как в тестах, то работает

CREATE TEMPORARY TABLE test (d DateTime) ENGINE = Memory;
SET date_time_input_format = 'best_effort';
INSERT INTO test VALUES ('2018-06-08T01:02:03+01:00');
SELECT toTimeZone(d, 'UTC') FROM test;

13:26пожаловаться #8

S

Alex Komrakov

я тоже не очень понимаю почему облачные решения должны быть дешевле железных

они не должны быть дешевле, они должны не быть ДОРОЖЕ в РАЗЫ, как сейчас

14:38пожаловаться #9

S

Jack

Скажите а ZooKeeper в ClickHouse используется исключительно для репликации данных?
Сегодня во время того как отвалился ZooKeeper пытались выполнить:

DROP TABLE IF EXISTS tmp.table ON CLUSTER cluster_name

На что получали ошибку:

Coordination::Exception. Coordination::Exception: All connection tries failed while connecting to ZooKeeper. Addresses: 127.127.127.127:2181, 127.127.127.127:2181

Версия Clickhouse: 19.15.3.6

ON CLUSTER - значит сам запрос будет положен в ZK и при репликации запустится на репликах

14:38пожаловаться #10

RM

Ruslan Moldabekov in ClickHouse не тормозит

Добрый день! Есть ли в clickhouse возможность написания пользовательских функций либо процедур? Если да, то буду благодарен за ссылки на примеры написания их

14:54пожаловаться #11

S

Ruslan Moldabekov

Добрый день! Есть ли в clickhouse возможность написания пользовательских функций либо процедур? Если да, то буду благодарен за ссылки на примеры написания их

UDF нет
но такого кол-ва функций и модификаторов какое есть в CH я не видел ни в одной другой БД
можно слать Pull Requests на "свои функции" если C++ знаете

14:57пожаловаться #12

RM

Ruslan Moldabekov in ClickHouse не тормозит

Slach

UDF нет
но такого кол-ва функций и модификаторов какое есть в CH я не видел ни в одной другой БД
можно слать Pull Requests на "свои функции" если C++ знаете

Спасибо Вам за ответ. К сожалению, С++ не владею.

14:59пожаловаться #13

S

Ruslan Moldabekov

Спасибо Вам за ответ. К сожалению, С++ не владею.

тогда советую читать доку
https://clickhouse.yandex/docs/en/query_language/functions/
https://clickhouse.yandex/docs/en/query_language/agg_functions/
https://clickhouse.yandex/docs/en/query_language/agg_functions/combinators/

тут очень много вкусного

15:01пожаловаться #14

RM

Ruslan Moldabekov in ClickHouse не тормозит

Slach

тогда советую читать доку
https://clickhouse.yandex/docs/en/query_language/functions/
https://clickhouse.yandex/docs/en/query_language/agg_functions/
https://clickhouse.yandex/docs/en/query_language/agg_functions/combinators/

тут очень много вкусного

Ок. Спасибо

Denny Crane (I don't... in ClickHouse не тормозит

15:05пожаловаться #15

DC

Felixoid 🚜🇩🇪

ок, нашёл ответ. toDateTime использует не тот же самый парсер, что и при вставке. Если сделать, как в тестах, то работает

CREATE TEMPORARY TABLE test (d DateTime) ENGINE = Memory;
SET date_time_input_format = 'best_effort';
INSERT INTO test VALUES ('2018-06-08T01:02:03+01:00');
SELECT toTimeZone(d, 'UTC') FROM test;

select parseDateTimeBestEffortOrZero('2014-09-21T09:44:28+0400')
2014-09-21 05:44:28

15:27пожаловаться #16

SP

Sebastian Pereiro in ClickHouse не тормозит

Felixoid 🚜🇩🇪

ок, нашёл ответ. toDateTime использует не тот же самый парсер, что и при вставке. Если сделать, как в тестах, то работает

CREATE TEMPORARY TABLE test (d DateTime) ENGINE = Memory;
SET date_time_input_format = 'best_effort';
INSERT INTO test VALUES ('2018-06-08T01:02:03+01:00');
SELECT toTimeZone(d, 'UTC') FROM test;

Так теряется инфа о таймзоне

15:36пожаловаться #17

F🚜

Denny Crane (I don't work at Yandex (never did))

select parseDateTimeBestEffortOrZero('2014-09-21T09:44:28+0400')
2014-09-21 05:44:28

то есть, toDateTime намеренно не использует эту опцию. Спасибо за пояснение

Sergey Kuzmin in ClickHouse не тормозит

15:49пожаловаться #18

SK

У меня всё так же ReplicatedMergeTree
Ругается так
DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts.

Сейчас вообще ничего не пишется в базу, но она всё равно ругается.

Sergey Kuzmin in ClickHouse не тормозит

16:02пожаловаться #19

SK

большая нагрузка на CPU