Size: a a a

ClickHouse не тормозит

2021 April 06

A

Anton in ClickHouse не тормозит
Подскажите, имеется таблица Replacing merge tree. В нее каждый день дописываются данные за сегодня и за вчера.

Сегодня обнаружили что данные за 2021-03-30 до сих пор не схлопнулись. Возможна ли эта проблема из-за не выставленных конфигураций сервера?
источник

RK

Rebrikov Konstantin in ClickHouse не тормозит
Anton
Подскажите, имеется таблица Replacing merge tree. В нее каждый день дописываются данные за сегодня и за вчера.

Сегодня обнаружили что данные за 2021-03-30 до сих пор не схлопнулись. Возможна ли эта проблема из-за не выставленных конфигураций сервера?
Сделайте OPTIMIZE FINAL для таблицы (или только проблемного партишна той таблицы), - если OPTIMIZE успешно отработает и ваши записи схлопнутся - значит кликхаус просто до тех записей ещё не добрался (Replacing гарантий по времени схлопывания не даёт) . (Или же, вместо OPTIMIZE FINAL, можно в тот же SELECT, которым вы проверяли дубли, добавить после имени таблицы FINAL - останутся ли тогда дубли?). Это одна ситуация, когда на самом деле всё как положено работает.
И если вы знаете, что из систем-источников данные "за несколько дней назад" уже больше поступать не должны, а дубли в старых данных не устраивают - как вариант каким-нибудь ночным OPTIMIZE FINAL схлопывание поторопить.

А вот если останутся не схлопнутыми - с этим стоит разобраться. Может быть какая-то ошибка схемы. Например, не будут схлопываться между собой записи, находящиеся в разных партициях.
источник

DD

Dig Diver in ClickHouse не тормозит
Добрый день. Есть реплицируемая таблица с движком ReplicatedMergeTree. В нее данные попадают из KAFKA-MV-table. Такой вопрос таблицу с ENGINE = Kafka создавать на каждой реплике (понятно что с одинаковым kafka_group_name)? Или хватит на одной реплике?
источник

K

Kid in ClickHouse не тормозит
В доке (https://clickhouse.tech/docs/ru/sql-reference/statements/alter/partition/#alter_attach-partition-from) не хвататет пункта, что политики хранения должны быть одинаковыми.
источник

K

Kid in ClickHouse не тормозит
Как можно перенести целые партиции из одной таблицы в другую, если отличие только в политике храненеия?
источник

A

Anton in ClickHouse не тормозит
подскажите, где можно посмотреть выставленный параметр для merge_tree_max_rows_to_use_cache?
источник

K

Kid in ClickHouse не тормозит
Anton
подскажите, где можно посмотреть выставленный параметр для merge_tree_max_rows_to_use_cache?
select * from system.settings
   where name='merge_tree_max_rows_to_use_cache';
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Dig Diver
Добрый день. Есть реплицируемая таблица с движком ReplicatedMergeTree. В нее данные попадают из KAFKA-MV-table. Такой вопрос таблицу с ENGINE = Kafka создавать на каждой реплике (понятно что с одинаковым kafka_group_name)? Или хватит на одной реплике?
Лучше сделать на каждой реплике - так и читать быстрее будет (актуально если поток большой) и отказоустойчивость повышается на случай падения реплики-читателя.
источник

V

Vladimir in ClickHouse не тормозит
как можно навесить права на пользователя? Что гугл предлагает пробовал, не помогло
источник

GK

Gleb Kucherenko in ClickHouse не тормозит
Есть запрос:
SELECT '"foo" foo', 'bar'
Формирую URl http://localhost:8123/?query=SELECT%20%27%22foo%22%20foo%27%2C%20%27bar%27&default_format=TabSeparated и получаю
"foo" foo bar
с помощью какого параметра или настройки я могу обернуть строки в двойные кавычки, чтобы получить:
""foo" foo" "bar"
в идеале бы добавлять кавычки, только в строках с кавычками
""foo" foo" bar
источник

AK

Anton Khokhrin in ClickHouse не тормозит
А с чего вдруг сервер должен оборачивать результат в кавычки? Вы что запросили, то и получили.
Хотите доп. логику, напишите запрос соответствующий или на клиенте обрабатывайте
источник

GK

Gleb Kucherenko in ClickHouse не тормозит
Странно, что заголовки столбцов он при этом экранирует в двойные кавычки, а значения нет, вот и подумал, что дело в настройках
источник

GK

Gleb Kucherenko in ClickHouse не тормозит
точнее с параметром TabSeparatedWithNamesAndTypes
выдает
\'"foo" foo\' \'bar\'
String String
"foo" foo bar
подумал, что и значения можно оборачивать
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
format CSV ?
источник

GK

Gleb Kucherenko in ClickHouse не тормозит
TabSeparatedWithNamesAndTypes, для CSV нет WithNamesAndTypes
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Друзья, вопрос. Это нормально что кликхаус выполняет этот запрос и отдает информацию за 2е марта?

select * from events where date =  '2021-02-30' ;
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
detach partition / mv в bash / attach partition
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
а вот за 32е число уже не выдает
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну CSVWithNames есть
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
марта?

SELECT toDate('2021-02-30')

┌─toDate('2021-02-30')─┐
│           2021-03-02 │
└──────────────────────┘


так работает обработка неправильных дат
источник