Size: a a a

ClickHouse не тормозит

2019 December 16

K

Kitsu in ClickHouse не тормозит
Можно как-нибудь сделать запрос с аггрегированной функцией в where-clause, по сути некий аналог take_while. Перформанс не важен, т.к. табличка достаточно маленькая.
источник

ИТ

Илья Тишкин... in ClickHouse не тормозит
Kitsu
Можно как-нибудь сделать запрос с аггрегированной функцией в where-clause, по сути некий аналог take_while. Перформанс не важен, т.к. табличка достаточно маленькая.
having? qualify?
источник

K

Kitsu in ClickHouse не тормозит
Илья Тишкин
having? qualify?
Там аггрегированное что-то в итоге только выйдет получить? Хочется что-то такое select col1, col2, .. from my_table where sum(count) <= 100, не очень понимаю как это через having провернуть. Про qualify не в курсе, что это (по "clickhouse qualify" ничего не нагуглилось)?
источник

ИТ

Илья Тишкин... in ClickHouse не тормозит
Kitsu
Там аггрегированное что-то в итоге только выйдет получить? Хочется что-то такое select col1, col2, .. from my_table where sum(count) <= 100, не очень понимаю как это через having провернуть. Про qualify не в курсе, что это (по "clickhouse qualify" ничего не нагуглилось)?
оконных функций в КХ нет... что нужно получить мне не понятно, возможно limit by подойдёт
источник

ПК

Павел Клементьев... in ClickHouse не тормозит
select * from my_table any inner join (select col1 from my_table group_by col1 having count() <= 100) using (col1)
источник

Z

Zmicier in ClickHouse не тормозит
Добрый день. Кто-нибудь пробовал использовать cancel_http_readonly_queries_on_client_close ? У вас она работает? v19.17.3.7
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
коллеги, а есть ли какой-то более "интересный" способ репликации данных из таблиц PG в CH кроме PG -> debezium -> kafka -> CH?
источник

В

Вадим in ClickHouse не тормозит
Николай Моисеенко
коллеги, а есть ли какой-то более "интересный" способ репликации данных из таблиц PG в CH кроме PG -> debezium -> kafka -> CH?
Грепка через консоль :)
источник

В

Вадим in ClickHouse не тормозит
Николай Моисеенко
коллеги, а есть ли какой-то более "интересный" способ репликации данных из таблиц PG в CH кроме PG -> debezium -> kafka -> CH?
Можно просто в файл записать, создать табличку с движком file, потом insert from select
источник

В

Вадим in ClickHouse не тормозит
Да много способов
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Вадим
Грепка через консоль :)
интересный, а не экстремальный =)
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Вадим
Можно просто в файл записать, создать табличку с движком file, потом insert from select
это даст разовый слепок, ну т.е. это позволит сделать копию, а я говорю про репликацию, при которой все закомиченные данные в PG будут поступать в CH
источник

ИТ

Илья Тишкин... in ClickHouse не тормозит
Николай Моисеенко
это даст разовый слепок, ну т.е. это позволит сделать копию, а я говорю про репликацию, при которой все закомиченные данные в PG будут поступать в CH
у удаления тоже?
источник

В

Вадим in ClickHouse не тормозит
Николай Моисеенко
это даст разовый слепок, ну т.е. это позволит сделать копию, а я говорю про репликацию, при которой все закомиченные данные в PG будут поступать в CH
Нужны данные или все из WAL?
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Вадим
Нужны данные или все из WAL?
данные
источник

В

Вадим in ClickHouse не тормозит
Автоматизированно каждый день?
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Вадим
Автоматизированно каждый день?
желательно бы вобще чуть ли не в реалтайме, но это неосуществимо, так что хотя бы с заданным промежутком
источник

В

Вадим in ClickHouse не тормозит
Дополнять, или исторические данные (снепшот)?
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Илья Тишкин
у удаления тоже?
удаление - отдельный вопрос. но т.к. в нашей PG  -удаление логическое, т.е. по факту это просто апдейт флага - то этот вопрос не существенен
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Вадим
Дополнять, или исторические данные (снепшот)?
дополнять, как я и говорил - сделать снепшот мы можем, требуется дополнять его постоянно для содержания в CH консистентных данных, аналогичных PG
источник