Size: a a a

ClickHouse не тормозит

2021 July 06

S

Slach in ClickHouse не тормозит
потому что неправильно выбран sharding_key для Engine=Distributed

схлопывание FINAL как и OPTIMIZE FINAL работает на локальной таблице в рамках одной реплики , для одной PARTITION BY ...
источник

S

Slach in ClickHouse не тормозит
Distributed ничего не знает про особенности движка локальной таблицы поверх которой он настроен
при SELECT ... он пробрасывает просто FINAL в локальную sub query ... а там соответсвенно никто ничего не знает про другие реплики и шарды
источник

SK

Sergey Kirpichenok in ClickHouse не тормозит
ок спасибо. поэкспериментирую с sharding_key
источник

АП

Алексей Плюхин... in ClickHouse не тормозит
привет, а есть какая-нибудь возможность прочитать большую выборку из таблицы батчами из запроса с ORDER BY и WHERE по индексным полям
с limit и offset в конце уже довольно медленно ползет, видел что-то по стриминг, но в этом случае весь результат должен быть в памяти?
источник

К

Казанский in ClickHouse не тормозит
Всем привет, как в ClickHouse положить в колонку json с произвольным массивом?

В одном запросе может прилететь 10 ключей, в другом - 20. Хочу положить как String, а клик при инсерте пытается парсить как json. JSONAsString говорит, что инсертить надо только один столбец.
источник

S

Slach in ClickHouse не тормозит
да, FORMAT JSONAsString  и вставка в один столбец
и отдельные столбцы с DEFAULT JSONExtract(...)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Там вначале документа объяснено что движок соурс таблицы не имеет значения
источник

СП

Саша Пряная... in ClickHouse не тормозит
И репликация будет работать?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
конечно будет.
источник

СП

Саша Пряная... in ClickHouse не тормозит
Пуля, спасибо 🤓
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ничего не сливает. кх читает исходный парт и пишет временный со ВСЕМИ строками и потом просто временный становится активным, исходный удаляется.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
insert intl Select ... from remote
Или
Insert into function remote() select ...
источник

AS

Alexey Sokolov in ClickHouse не тормозит
@den_crane можете подсказать по вчерашнему вопросу с ошибкой "ZooKeeper session has been expired"?
источник

А

Агент in ClickHouse не тормозит
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
источник

A

Alexey in ClickHouse не тормозит
Спасибо!
источник

К

Казанский in ClickHouse не тормозит
Огонь, спасибо, попробую
источник

S

Slach in ClickHouse не тормозит
вот тут подробнее про подход
https://eng.uber.com/logging
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
похоже что просто зукипер перестал отвечать. Надо смотреть нагрузку на диски зукипера и лог зукипера
источник

VK

V K in ClickHouse не тормозит
Добрый день,
Подскажите, пожалуйста, что я делаю или понимаю не так о настройке mutations_sync. Задача - перезалить часть данных, сначала нужно все данные по предикату удалить, а после вставить новые. После прочтения документации мне показалось, что при установке mutations_sync=2, команда ALTER DELETE завершается после того, как все данные удалены на всех репликах и партиции перезаписаны.

Выполняю в clickhouse-client
set mutations_sync = 2;

ALTER TABLE mytable ON CLUSTER mycluster
   DELETE WHERE device_id = 42540
SETTINGS mutations_sync = 2

Query id: d2cd632a-0848-461b-bc1c-d18659b70d59

┌─host────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ ch_server_1 │ 9000 │      0 │       │                   1 │                0 │
│ ch_server_2 │ 9000 │      0 │       │                   0 │                0 │
└─────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

2 rows in set. Elapsed: 0.638 sec.

Следом выполняю count(*) WHERE device_id = 42540 и получаю не нулевое количество.

Я что-то не так понял или сделал?
источник