Телеграмм чат группы clickhouse

2019 December 02

TS

Till Schneider in ClickHouse не тормозит

использует ли clickhouse партиции для оптимизации запросов?

partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc).

источник

17:11пожаловаться #1

DC

Denny Crane (I don't... in ClickHouse не тормозит

>partitioning is not intended to speed up SELECT queries

тут имеется в виду что speed up самый минорый фактор для выбора стратегии партиционирования, и только для тех кто понимает как на самом деле работает insert

источник

17:13пожаловаться #2

AP

Abi Palagashvili in ClickHouse не тормозит

а никто не сталкивался с зависаниями кх в случае,когда таблица создается через движок HDFS, из 40000 файлов?

источник

17:59пожаловаться #3

AP

Abi Palagashvili in ClickHouse не тормозит

может,есть какие-то неявные ограничения?

источник

17:59пожаловаться #4

VP

Vladimir Popov in ClickHouse не тормозит

Привет всем. Кто то сталкивался с тем что запрос с мат вью и аналогичный запрос из исходной таблицы возвращает отличающееся друг от друга цифры? Есть идея что это связано с каким то мержем. Мат вью был создан давно без POPULATE. Такой же вью созданный параллельно возвращает правильные данные

источник

18:02пожаловаться #5

DC

Denny Crane (I don't... in ClickHouse не тормозит

Vladimir Popov

Привет всем. Кто то сталкивался с тем что запрос с мат вью и аналогичный запрос из исходной таблицы возвращает отличающееся друг от друга цифры? Есть идея что это связано с каким то мержем. Мат вью был создан давно без POPULATE. Такой же вью созданный параллельно возвращает правильные данные

всавка в MV и таблицу неатомарны, нужно постоянно следить за ошибками инсертов и чинить руками

источник

18:08пожаловаться #6

VP

Vladimir Popov in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

всавка в MV и таблицу неатомарны, нужно постоянно следить за ошибками инсертов и чинить руками

то есть может получится что вставка в таблицу прошла а MV нет. Так ?

источник

18:09пожаловаться #7

DC

Denny Crane (I don't... in ClickHouse не тормозит

Vladimir Popov

то есть может получится что вставка в таблицу прошла а MV нет. Так ?

да, у меня такая фигня бывает раз в неделю, отвал зукипера, отвал сети между КХ и заливалкой и т.д.. Я чиню MV вручную, довствляя кусок который не вставился в MV.

источник

18:10пожаловаться #8

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит

Vladimir Popov

Привет всем. Кто то сталкивался с тем что запрос с мат вью и аналогичный запрос из исходной таблицы возвращает отличающееся друг от друга цифры? Есть идея что это связано с каким то мержем. Мат вью был создан давно без POPULATE. Такой же вью созданный параллельно возвращает правильные данные

Что такое "вью созданный параллельно"?

источник

18:11пожаловаться #9

VP

Vladimir Popov in ClickHouse не тормозит

а какой алгоритм вставки - сначала идет вставка в основную таблицу, а потом в MV? Тогда понятно

источник

18:11пожаловаться #10

DC

Denny Crane (I don't... in ClickHouse не тормозит

Vladimir Popov

а какой алгоритм вставки - сначала идет вставка в основную таблицу, а потом в MV? Тогда понятно

да, приблизительно

источник

18:12пожаловаться #11

VP

Vladimir Popov in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

да, у меня такая фигня бывает раз в неделю, отвал зукипера, отвал сети между КХ и заливалкой и т.д.. Я чиню MV вручную, довствляя кусок который не вставился в MV.

а как вставить недостающую? также как в обычную таблицу?

источник

18:12пожаловаться #12

DC

Denny Crane (I don't... in ClickHouse не тормозит

Vladimir Popov

а как вставить недостающую? также как в обычную таблицу?

да

источник

18:12пожаловаться #13

VP

Vladimir Popov in ClickHouse не тормозит