Size: a a a

ClickHouse не тормозит

2019 November 29

YK

Yuri Kudryavtsev in ClickHouse не тормозит
вот так
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
но оно не срабатывает почему то
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
в каких файла вообще писать конфиг которые можно прописать в таблицу
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
system.settings
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
путем SET
источник

M

Mishanya in ClickHouse не тормозит
Yuri Kudryavtsev
в каких файла вообще писать конфиг которые можно прописать в таблицу
эти конфиги нужно писать в секцию <profiles><tvoy_profile>tvoi settingi </> </>
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
Mishanya
эти конфиги нужно писать в секцию <profiles><tvoy_profile>tvoi settingi </> </>
в users.xml получается ?
источник

M

Mishanya in ClickHouse не тормозит
Да
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
ага понял спасибо
источник

AT

Anton Teckatlipoka in ClickHouse не тормозит
Mishanya
а ReplcaingMergeTree с ключом для версий не подойдет? Например, время
ReplcaingMergeTree чистит данные в фоновом режиме. Пока данные не почистились они будут задвоены в отчетах.
Например значения таблицы table_replacing:
key_column   value   ver
———————————--
key_1                5           1
key_1                8           2

Тогда запрос к таблице для получения итогового значения
select sum(value)
from table_replacing
where key_column = 'key_1'
будет выдавать неожиданные результаты: до слияния 13, после слияния 8.

А мне нужно выдавать всегда последнее значение.
И не важно тип поля ver UInt или Datetime
источник

M

Mishanya in ClickHouse не тормозит
Yuri Kudryavtsev
ага понял спасибо
хотя я могу ошибаться) В примере именно эти сеттинги написаны в config.xml в <yandex>
Но вы попробуйте и так и так
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
в каком примере ?
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
я уже по всякому попробовал кроме как SET не срабатывает нигде
источник

M

Mishanya in ClickHouse не тормозит
Anton Teckatlipoka
ReplcaingMergeTree чистит данные в фоновом режиме. Пока данные не почистились они будут задвоены в отчетах.
Например значения таблицы table_replacing:
key_column   value   ver
———————————--
key_1                5           1
key_1                8           2

Тогда запрос к таблице для получения итогового значения
select sum(value)
from table_replacing
where key_column = 'key_1'
будет выдавать неожиданные результаты: до слияния 13, после слияния 8.

А мне нужно выдавать всегда последнее значение.
И не важно тип поля ver UInt или Datetime
можно написать группировку по ключу и max(ver)
Но если вы прям хотите достать актуальную версию из коллапсинг мерж три, то можете написать что-то типа select fields from ur_table group fields_except_ver having sum(ver) > 0.
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
блин кто ж придумал эту логику, половина параметров срабатывают толькок в users.xml а вторая половина только в config.xml
источник

L

Lesha in ClickHouse не тормозит
Anton Teckatlipoka
ReplcaingMergeTree чистит данные в фоновом режиме. Пока данные не почистились они будут задвоены в отчетах.
Например значения таблицы table_replacing:
key_column   value   ver
———————————--
key_1                5           1
key_1                8           2

Тогда запрос к таблице для получения итогового значения
select sum(value)
from table_replacing
where key_column = 'key_1'
будет выдавать неожиданные результаты: до слияния 13, после слияния 8.

А мне нужно выдавать всегда последнее значение.
И не важно тип поля ver UInt или Datetime
если скорость не столь критична, можно использовать SELECT * FROM table FINAL
источник

AT

Anton Teckatlipoka in ClickHouse не тормозит
Mishanya
можно написать группировку по ключу и max(ver)
Но если вы прям хотите достать актуальную версию из коллапсинг мерж три, то можете написать что-то типа select fields from ur_table group fields_except_ver having sum(ver) > 0.
можно написать группировку по ключу и max(ver)
т.е.
select key_column, value, max(ver)
from table_replacing
group by key_column
вернет мне самую последнюю запись value с максимальной версией?
источник

AT

Anton Teckatlipoka in ClickHouse не тормозит
Lesha
если скорость не столь критична, можно использовать SELECT * FROM table FINAL
скорость критична, поэтому пытаюсь обойтись без Final
источник

M

Mishanya in ClickHouse не тормозит
Anton Teckatlipoka
можно написать группировку по ключу и max(ver)
т.е.
select key_column, value, max(ver)
from table_replacing
group by key_column
вернет мне самую последнюю запись value с максимальной версией?
….
group by key_column
having max(ver)

я думаю что-то типа такого

хотя это так не работает)

ваш вариант будет рабочий
источник

AT

Anton Teckatlipoka in ClickHouse не тормозит
Mishanya
….
group by key_column
having max(ver)

я думаю что-то типа такого

хотя это так не работает)

ваш вариант будет рабочий
понял, надо попробовать, спасибо
источник