Size: a a a

ClickHouse не тормозит

2019 December 03

AB

Andrey Bodrov in ClickHouse не тормозит
Armenak
Подскажите, delta encoding  можно применить к полю timestamp? LowCardinality был бы эффективен для поля  user_agent, как я понял из вебинара Secrets of ClickHouse Query Performance by Altinity Ltd...
тут пишут про бОльшее количество
источник

AB

Andrey Bodrov in ClickHouse не тормозит
Переслано от Andrey Bodrov
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Armenak
Подскажите, delta encoding  можно применить к полю timestamp? LowCardinality был бы эффективен для поля  user_agent, как я понял из вебинара Secrets of ClickHouse Query Performance by Altinity Ltd...
>Подскажите, delta encoding  можно применить к полю timestamp?
да, помогает, если отсортировано по timestamp

>LowCardinality был бы эффективен для поля  user_agent,
да
источник
2019 December 04

ФЧ

Филипп Чистяков... in ClickHouse не тормозит
У меня есть таблица

user_id
order_id
price
status
dt -  datetime

к ней наджойнина таблица с пользователями
users_table.reg_dt -  дата регистрации пользователя

Я хочу получить для каждого пользователя  арреи в котором будет сумма price для каждой его нумерованной недели с момента регистрации

Пока единсвенный рабочий вариант у меня это явно перечислить все недели:

WITH (SELECT groupArray(number) FROM numbers(1, 52)) as week_n
SELECT
       users_table.user_id
     , array(sumIf(table.price,
                 table.status = 1 AND
                 toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 1),
           sumIf(table.price,
                 table.status = 1 AND
                 toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 2),
           sumIf(table.price,
                 table.status = 1 AND
                 toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 3),

           ~~~~~~~~~


           sumIf(table.price,
                 table.status = 1 AND
                 toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 52)
                   ) AS array_prices


GROUP BY users_table.user_id


Пробовал:

1) запускаеться но дублирует значение первой недели на все

  , arrayJoin(weeks) as week_n
   , array(sumIf(table.price,
                 table.status = 1 AND
                 (toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt)) = week_n)) AS array_prices
2) не запускаеться

      , arraySum(tupl -> (
        tupleElement(tupl, 3)
                           )
        , array(
            tuple( groupArray(table.price)
                 , week_n
                 , groupArray(toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt))
                 , groupArray(table.status)
                )
            )
        ) as test


Вопрос:

Таких полей кроме price достаточно много и явно не правильно всех из перечилслять так, хочеться понять как можно считать это не хардкодя
источник

AS

Alex Shevchenko in ClickHouse не тормозит
Привет, как узнать что выполняет ClickHouse в данный момент?
Хочу отследить причину нагрузки
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
SHOW PROCESSLIST
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Можно еще мержи и мутации посмотреть, в доке ищи
источник

M

Maxim in ClickHouse не тормозит
Привет! А можно ли при запросе к КХ посмотреть сколько данных он вытянул с шардов на мержущую машину, чтобы чутка оптимизировать группировки если надо?
источник

AK

Alex Krash in ClickHouse не тормозит
Maxim
Привет! А можно ли при запросе к КХ посмотреть сколько данных он вытянул с шардов на мержущую машину, чтобы чутка оптимизировать группировки если надо?
Можно добавить hostName() в ключ группировки и включить настройку distributed_group_by_no_merge
источник

M

Maxim in ClickHouse не тормозит
хм, спасибо, попробую
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
что такое SELECT 1 FROM A

SELECT id, A.count
FROM table
JOIN A
WHERE id IN( SELECT 1 FROM A)
Это условный запрос, там столбцы с агрегацией
источник

KZ

Konstantin Zamyakin in ClickHouse не тормозит
господа, приветствую
есть проблема с наливкой копии продакшн-базы из бэкапа
используется этот спосок https://clickhouse.yandex/docs/ru/operations/backup/#manipuliatsii-s-partitsiiami
проблема в том, что там отсутствуют таблицы с Engine=Log и их нет в бэкапе
подскажите, пожалуйста, можно ли, используя этот способ, получить бэкап и лог таблиц тоже?
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Добрый день! При попытке залить таблицу упираюсь либо в ошибку выделения памяти, либо в ограничение на память для запроса. Какую настройку подкрутить, чтоб не покупать больше RAM?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Добрый день. Я вставляю данные по 100 000 строк. Как вставить только уникальные по паре полей? Чтобы не заморачиваться предварительной вычиткой и отбором.
источник

l

lnuynxa in ClickHouse не тормозит
Евгений Угожаев
Добрый день. Я вставляю данные по 100 000 строк. Как вставить только уникальные по паре полей? Чтобы не заморачиваться предварительной вычиткой и отбором.
Вставлять в replacingmergetree
источник

IB

Ivan Blinkov in ClickHouse не тормозит
Мы сейчас занимаемся приоритезацией задач по дальнейшему улучшению документации ClickHouse и чтобы сделать это правильно, нам нужна обратная связь от вас. Если готовы помочь нам, заполните, пожалуйста, вот эту небольшую форму: https://forms.yandex.ru/surveys/10014882

Тем временем, следующий ClickHouse митап в Москве состоится уже через неделю, 11 декабря: https://yandex.ru/promo/clickhouse/moscow-december-2019
Количество мест ограничено, так что стоит поспешить записаться, но live трансляцию тоже собираемся делать.
источник

AM

Alexander Marshalov in ClickHouse не тормозит
Подскажите, как узнать виртуальные столбцы таблицы? Есть ли у ReplacingMergeTree возможность получить версию?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
lnuynxa
Вставлять в replacingmergetree
почитал, сомнительный вариант
никто не знает, когда обновление произойдет
есть варианты прямо в INSERT условие вставить?
в гугле есть варианты, но поддерживаются ли они CH?
источник

S

Shazo in ClickHouse не тормозит
Alexander Marshalov
Подскажите, как узнать виртуальные столбцы таблицы? Есть ли у ReplacingMergeTree возможность получить версию?
select database,table,columns_version from system.replicas


под виртуальными, что имеется в виду?
источник

AM

Alexander Marshalov in ClickHouse не тормозит
Shazo
select database,table,columns_version from system.replicas


под виртуальными, что имеется в виду?
Например, в distributed есть _table, _part и еще несколько, вдруг в ReplacingMT есть что-то вроде _version
источник