Size: a a a

ClickHouse не тормозит

2019 December 06

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Много потоков. Они читают разные куски. Кто успел первым получается в начале.
Спасибо. Какой-то способ избежать этого, кроме max_threads=1 и подзапроса с order?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Felixoid 🚜🇩🇪
Спасибо. Какой-то способ избежать этого, кроме max_threads=1 и подзапроса с order?
Order by необходим.
источник

DL

Danil Lugovskoy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
И как это сделать в консоли ?
Какой из 3 способов вы попробовали?
я делал с помощью
INSERT (column) SELECT maxMerge(15)
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
если я просто добавляю order by Time (колонка со временем), то запрос ругается, что она не под группировкой
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Danil Lugovskoy
я делал с помощью
INSERT (column) SELECT maxMerge(15)
Вы понимаете -- это бред. Это не заливка потока. Так на проде вставлять не получится. Пробуйте способ 3 -- у вас все получится. В способе 2 написано что вам нажны simpleaggregstionfunction которые в 2 раза быстрее и занимают меньше места. Использовать надо способ 1.
источник

DL

Danil Lugovskoy in ClickHouse не тормозит
окей, спасибо.
источник

KS

Kirill Shvakov in ClickHouse не тормозит
Илья Ибрагимов
Коллеги, юобрый день! Подскажите, пожалуйста, реализована ли в библиотеке clickhouse-go поддержка флага any_join_distinct_right_table_keys=1. Если нет, то как пользоваться старыми джоинами?
Вот сюда добавьте https://github.com/ClickHouse/clickhouse-go/blob/master/query_settings.go и PR сделайте ;)
источник

Sitrix Тарасов Иван... in ClickHouse не тормозит
Прости кис, закрутился(
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikolay
Как может быть такое , что Optimize DEDUPLICATE не удалил дубликаты из таблицы,а FINAL удалил ?
и это правильно, так и задумано.

- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree.
источник

IM

Ivan Moiseev in ClickHouse не тормозит
источник

N

Nikolay in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и это правильно, так и задумано.

- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree.
У меня они не схлопнулись почему то. Вот я так и ожидал. Движек реплэйсингмерджтри
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikolay
У меня они не схлопнулись почему то. Вот я так и ожидал. Движек реплэйсингмерджтри
повторяю: и это правильно, так и задумано.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!

Заранее извиняюсь, что задаю заезжанный вопрос, мало ли что-то имзенилось в новых версиях в JOIN

>SELECT id, name FROM ids
>JOIN (SELECT id, name FROM ids_names) USING id

-- ids - миллоин строк
-- ids_names - 100 строк
-- результат 100 строк, прочитано миллон строк (fullscan)

Как переписать запрос, чтобы не было fullscan без использования дополнительного подзапроса?
И вообще final это не аналог DEDUPLICATE
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
optimize table DEDUPLICATE
optimize table DEDUPLICATE FINAL
делают разное
источник

N

Nikolay in ClickHouse не тормозит
А что тогда значит deduplication в конструкции optimize?
источник

N

Nikolay in ClickHouse не тормозит
Что делает dedup с данными в таблице ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikolay
А что тогда значит deduplication в конструкции optimize?
- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree.

optimize table DEDUPLICATE FINAL -- то произойдет схлопывание полностью одинаковых строк даже в партициях где один парт
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikolay
Что делает dedup с данными в таблице ?
только для движка MergeTree

- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree.
источник

N

Nikolay in ClickHouse не тормозит
А точно по всем колонкам сравнивает  а не по примари ключу ?
источник

N

Nikolay in ClickHouse не тормозит
ver — столбец с версией, тип UInt*, Date или DateTime. Необязательный параметр.

При слиянии, из всех строк с одинаковым значением первичного ключа ReplacingMergeTree оставляет только одну:

Последнюю в выборке, если ver не задан.

С максимальной версией, если verзадан.

Это из доки по КХ
источник