Size: a a a

ClickHouse не тормозит

2019 December 05

AB

Andrey Bodrov in ClickHouse не тормозит
а вот мне нужно было countIf. но я сделал в итоге через arrayJoin
источник

AB

Andrey Bodrov in ClickHouse не тормозит
спасибо!
источник

SS

Sergey Safonov in ClickHouse не тормозит
Yury Yurochko
Не уверен, есть ли проблема в том, что sign - не последнее поле в таблице у вас. Еще можно логи посмотреть на предмет того, что он по какой-то причине не может смержить. Куда-то он об этом пишет (в описании CollapsingMT видел что-то про это).
посмотрю, спасибо
источник

NF

Nikita Fomichev in ClickHouse не тормозит
Nikolay
Коллеги. Можно ли дикшенари для КХ, которые определен в xml файле и там источник - локальный КХ. Переписать в синтаксисе Create dictionary ? Т.е сделать без использования xml файла. Если можно - скиньте примерчик
CREATE DICTIONARY {dict_name} ( key UInt64, value UInt16 ) PRIMARY KEY key SOURCE(CLICKHOUSE(HOST '{client.host()}' PORT {client.port()} TABLE '{table}' DB '{db}' USER 'default')) LIFETIME(MIN 0 MAX 0) LAYOUT(HASHED());
источник

D

Daryl in ClickHouse не тормозит
ребят, хелп

есть

table1 (MergeTree)
- userId
- etc.

table2 (MergeTree)
 - userId
 - etc

пытаюсь джоинить:

SELECT tab1.*, tab2.* FROM "table1" tab1 JOIN "table2" tab2 ON tab1.userId = tab2.userId

на что получаю:

Memory limit (for query) exceeded: would use 9.32 GiB

в table1 примерно 40 тысяч строк

в table2 примерно 350 миллионов строк

вопросики:

1. так понимаю table2 кликхаус в память берет и поэтому Memory limit

2. как правильно сделать? может структура не верная?
источник

AV

Anatoly VariousVar in ClickHouse не тормозит
Anatoly VariousVar
Добрый день.
Подскажите, есть ли новости или планы по изменению движка регулярок? Мне нужны негативные регулярки, в re2 не поддерживаются.
Ребят, может кто-то знает?
источник

a

alx in ClickHouse не тормозит
Anatoly VariousVar
Ребят, может кто-то знает?
источник

AV

Anatoly VariousVar in ClickHouse не тормозит
Значит без шансов. Спасибо)
источник

Д

Дмитрий in ClickHouse не тормозит
Daryl
ребят, хелп

есть

table1 (MergeTree)
- userId
- etc.

table2 (MergeTree)
 - userId
 - etc

пытаюсь джоинить:

SELECT tab1.*, tab2.* FROM "table1" tab1 JOIN "table2" tab2 ON tab1.userId = tab2.userId

на что получаю:

Memory limit (for query) exceeded: would use 9.32 GiB

в table1 примерно 40 тысяч строк

в table2 примерно 350 миллионов строк

вопросики:

1. так понимаю table2 кликхаус в память берет и поэтому Memory limit

2. как правильно сделать? может структура не верная?
поменять местами таблицы?
источник

D

Daryl in ClickHouse не тормозит
Дмитрий
поменять местами таблицы?
фишка в том, что нужна инфа именно по userId из table1

в случае смены местами получим много ненужной инфы
источник

Д

Дмитрий in ClickHouse не тормозит
Daryl
фишка в том, что нужна инфа именно по userId из table1

в случае смены местами получим много ненужной инфы
а что нужно? последнее значение etc?
источник

D

Daryl in ClickHouse не тормозит
Дмитрий
а что нужно? последнее значение etc?
надо примерно так

table1.userId table1.etc table2.data

по факту ищем все идшники из table1 и сопоставляем из таблицы table2

или иначе сказать:

ищем данные для идшек (table1) из данных table2
источник

Д

Дмитрий in ClickHouse не тормозит
Daryl
надо примерно так

table1.userId table1.etc table2.data

по факту ищем все идшники из table1 и сопоставляем из таблицы table2

или иначе сказать:

ищем данные для идшек (table1) из данных table2
меняете местами, убираете лишнее
источник

Д

Дмитрий in ClickHouse не тормозит
правая таблица должна умещаться в лимит
источник

Д

Дмитрий in ClickHouse не тормозит
можно правую таблицу сгруппировать по user_id и groupArray(table2.data)
источник

Д

Дмитрий in ClickHouse не тормозит
если поместится в память
источник

D

Daryl in ClickHouse не тормозит
Дмитрий
меняете местами, убираете лишнее
попробую сейчас

но скорее всего не то будет
источник

Д

Дмитрий in ClickHouse не тормозит
можно добавить костыль в правую таблицу: Where user_id in (select user_id from table1 Where 1...)
источник

D

Daryl in ClickHouse не тормозит
Дмитрий
можно добавить костыль в правую таблицу: Where user_id in (select user_id from table1 Where 1...)
я думаю что кодом буду работать

читаю из table1 и далее бегаю в table2 за данными
источник

D

Daryl in ClickHouse не тормозит
иного варианта не вижу сейчас
источник