Size: a a a

ClickHouse не тормозит

2021 May 04

DT

Dmitry Titov in ClickHouse не тормозит
их нужно делать, создают ровно так же
источник

АК

Анатолий Костюшин... in ClickHouse не тормозит
Спасибо
источник

S

Solyar in ClickHouse не тормозит
Понял, спасибо
источник

М

Мария in ClickHouse не тормозит
всем привет, помогите переконвертировать json в  таблицу для дальнейшей обработки knime
источник

S

Solyar in ClickHouse не тормозит
Да, макрос есть только назывался {shard}. Еще раз спасибо большое. Стало понятнее)
источник

М

Мария in ClickHouse не тормозит
источник

VG

Vladimir Goncharov in ClickHouse не тормозит
для начала вам нужно создать схему таблицы. у вас там видны вложенные списки объектов, соответственно в кликхаусе вам придётся использовать несколько таблиц, либо одну но с полями типа nested.
просто сохранить ваш json, а потом вставить его в кликхаус за один инсерт скорее всего не получится. ну и вообще в вашем скрине у вас ничего невидно. не понятно из какой бд вы выгружаете эти данные или это knime формирует такой json на выходе?
https://clickhouse.tech/docs/ru/sql-reference/data-types/nested-data-structures/nested/
источник

S

Slach in ClickHouse не тормозит
оператор генерирует несколько макросов по умолчанию
посмотрите SELECT * FROM system.macros

надо для себя понять что Replicated и Distributed это ортогональные движки
Distributed не много знает про репликацию и строится обычно поверх ReplicatedMergeTree таблиц (могут и обычные MergeTree быть)

Replicated ничего не знает про Distributed

то что вы привели это просто реплицируемая таблица, шард в имени пути тут нужен чтобы реплики от разных шардов данными между собой не обменивались

"шардирование" делается если вставлять данные в Distributed
при создании Distributed там указывается sharding key expression

но рекомендую вычислять нужное DNS имя k8s сервиса самостоятельно (какой нибудь остаток от деления) на клиенте и раскладывать данные обращаясь к
chi-<chi-name>-<cluster-name>-[shard]-[replica].your_k8s_namespace.svc.cluster.local

таблицы как уже выше отметили создавать лучше через ON CLUSTER 'all-sharded'
источник

М

Мария in ClickHouse не тормозит
источник

М

Мария in ClickHouse не тормозит
Данные выгружены
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
в общем в КХ архитектурно очень тяжело впихнуть чистый мерж джойн. Никто над этим не работает. И никаких планов нет. Т.е. вообще джойны очень низкоприоритетная задача.
источник

VG

Vladimir Goncharov in ClickHouse не тормозит
да, для вложенных объектов вам нужны поля типа nested. кажется была какая-то опция в настройках кликхауса, чтобы вложенные объекты парсились при использовании формата JSONEachRow. возможно тут подскажут какая именно. и не понятно как как кликхаус отреагирует на строки, у которых запятые в конце. но сначала вам нужно создать таблицу в кликхаусе со всеми нужными полями.
источник

c

critskiy in ClickHouse не тормозит
источник

VG

Vladimir Goncharov in ClickHouse не тормозит
input_format_import_nested_json - эта та опция, которая позволит вложенные объекты запихнуть в nested-поля?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
такие джейсоны нельзя впихнуть с помощью той настройки, она не для этого
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
не позволит
источник

VG

Vladimir Goncharov in ClickHouse не тормозит
а можно скрин с не настолько вырвиглазными цветами?
источник

М

Мария in ClickHouse не тормозит
Переслано от Мария
источник

c

critskiy in ClickHouse не тормозит
а вам для такой задачи точно КХ нужен?
источник

VG

Vladimir Goncharov in ClickHouse не тормозит
т.е. UserNumber_en (из последнего скрина) не влезет в нестед-поле?
источник