Size: a a a

ClickHouse не тормозит

2019 November 25

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Tovmasyan
Всес привет. А может есть какая настройка, которая позволяет в Nested структуру вставлять массивы разной длины?
имеется в виду вставлять в Nested key-value разной длины?
источник

pk

papa karlo in ClickHouse не тормозит
Sergey Tovmasyan
Или что-то вроде автоматического заполнения.. Просто при персистентном логировании достаточно проблематично добавить поле в Nested. Вставки со старой схемой перестают проходить
а дефолт массив нужной длины не помогает?
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
Dmitry Titov
имеется в виду вставлять в Nested key-value разной длины?
Помогает, но мы дефолт поля игнорируем на бэке.
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
То есть хотелось бнз доработок бэка)))
источник

pk

papa karlo in ClickHouse не тормозит
я имею в виду определение колонки в таблице
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
Понимаю. У нас на бэке кодогенерилка над таблицами CH, которая создаёт классы событий. Собственно эта кодогенерилка игнорирует поля с Default, так как идеологически Default - это рассчёт на стороне ClickHouse. Потому и хочется что-то вроде настройки fill_nested_by_default, чтобы если происходит вставка в 3 поля Nested структуры, - хотя в ней 4, то в 4-й колонке массив просто заполнялся бы «нулями»  типа
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
Если настройки нет, придётся как-то извращаться, работая с комментариями к колонкам, видимо
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
Сделана кодогенерилка для совпадения схем бэк <-> CH
источник

pk

papa karlo in ClickHouse не тормозит
дефолт - это значение на случай отсутствия значения, а не логика работы на всю оставшуюся жизнь.
источник

pk

papa karlo in ClickHouse не тормозит
но в целом мысль понятна
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
🙂
источник

VZ

Vitaliy Zakaznikov in ClickHouse не тормозит
Andrey Bodrov
всем привет! читаю про LIVE VIEW и не могу понять, как часто обновляется вьюха. при каждом инсерте в основную таблицу?
Да, таблица обновляется при каждой вставке.
источник

A

Alexander in ClickHouse не тормозит
А что такое: Duplicate interserver IO endpoint ? при создании ReplicatedMergeTree
источник

DE

Denis Eremin in ClickHouse не тормозит
привет
есть кластер: 2 шарда-2реплики. на 1 шарде стало в лог засыпать варнингами "Found parts with the same min block and with the same max block as the missing part " << part_name << ". Hoping that it will eventually appear as a result of a merge." По пути партиции, есть данная партиция, но рядом есть другая, созданная за это же число и время
Подскажите природу возникновения данного варнинга, ну и пути разрешения.
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
подскажите, можно ли как то проверить, что MV закончило обработку инсертов?
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Konstantin Sevastianov
подскажите, можно ли как то проверить, что MV закончило обработку инсертов?
INSERT в MV синхронный. То есть, делается при INSERT в таблицу, над которой он создан. Клиент получил Ок - значит данные вставлены и в основную таблицу и во все materialized views.
источник

AM

Alexey Milovidov in ClickHouse не тормозит
При этом следует иметь ввиду например то, что вставка в Distributed таблицу, по-умолчанию, асинхронная.
источник

PL

Paul Loyd in ClickHouse не тормозит
Всем привет. Подскажите за репликацию через ReplicatedMergeTree.
Можно ли не зашивать название базы данных при указании ReplicatedMergeTree? В разных окружениях разное название используется
источник

PL

Paul Loyd in ClickHouse не тормозит
Какие вообще best practices по разделению непосредственно миграций от описание схемы реплицирования и шардирования?
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
Alexey Milovidov
INSERT в MV синхронный. То есть, делается при INSERT в таблицу, над которой он создан. Клиент получил Ок - значит данные вставлены и в основную таблицу и во все materialized views.
Алексей, спасибо. я просто еще с прошлой недели пытаюсь сделать странное =)
я вставляю в MergeTree поток событий, на этот поток смотрит MV (AggregatingMergeTree) которая считает статистики, хочется сделать 3ю сущность которая должна взять изначальный поток событий и сделать к нему JOIN уже агрегированных данных, т.е. для каждого события присоединять текущее состояние агрегатов (может сумбурно несколько объяснил), мне уже писали что вроде на КХ не стоит /нельзя такого делать, но так хочется попробовать)
источник