Size: a a a

ClickHouse не тормозит

2019 December 07

KK

Kostya Kakunin in ClickHouse не тормозит
Vitalii Kozlovskyi
Наверное начну ответы из чата в FAQ оформлять.
(А то мимо телеграма жизни нет :)
так телеграммка гуглитца в гугле в веб режиме если нет блокировок сайт на зоне РФ (телеграмка запрешена в раше)
источник

s

strangeqargo in ClickHouse не тормозит
Vitalii Kozlovskyi
Наверное начну ответы из чата в FAQ оформлять.
(А то мимо телеграма жизни нет :)
идея хорошая, я помогу.
когда начинал с кх, сделал свой маленький faq, но он совсем нубский.
щас знаю побольше. и есть кого спросить (сс @madm1ke например)

пингуй, когда начнешь делать!
источник

KK

Kostya Kakunin in ClickHouse не тормозит
strangeqargo
идея хорошая, я помогу.
когда начинал с кх, сделал свой маленький faq, но он совсем нубский.
щас знаю побольше. и есть кого спросить (сс @madm1ke например)

пингуй, когда начнешь делать!
может бот запилите для преложения вопроса и его решения
источник

s

strangeqargo in ClickHouse не тормозит
Kostya Kakunin
может бот запилите для преложения вопроса и его решения
ну надо в любом случае базу факапов и факов сначала набрать
и альтинити пнуть кек
источник

KK

Kostya Kakunin in ClickHouse не тормозит
strangeqargo
ну надо в любом случае базу факапов и факов сначала набрать
и альтинити пнуть кек
ок
источник

KK

Kostya Kakunin in ClickHouse не тормозит
что такое альтинити. просвятите плиз. гугл не подсказал. как понимаю это модуль кликхауса так?
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Kostya Kakunin
что такое альтинити. просвятите плиз. гугл не подсказал. как понимаю это модуль кликхауса так?
источник

KK

Kostya Kakunin in ClickHouse не тормозит
спасибо добрый человек
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Kostya Kakunin
спасибо добрый человек
в блоге много интересного
источник

KK

Kostya Kakunin in ClickHouse не тормозит
ок гляну сп
источник

KK

Kostya Kakunin in ClickHouse не тормозит
жаль что на анл языке. не идеально его понимаю. я про их блог в альтинити
источник

A

Armenak in ClickHouse не тормозит
Bral Bral
Дополнительные индексы , они же experemental_data_skipping индексы кто - то использует ? Какие-то подводные камни есть ? Слышал про удаление лишних строк при alter delete , но в новых пофиксили уже.
Неделю с ними экспериментирую. Пока результаты отрицательные. Требуется находить запись по ID (один типа UUID, второй String`). Знаю, что это неправильное использование OLAP базы данных. Пробовал индексы `set(0) и bloom_filter(0) GRANULARITY 1. Мне правда не очень понятно, за что отвечает granularity.

┌─version()──┐
│ 19.17.4.11 │
└────────────┘

Edited, гребанное форматирование строк в телеге
источник

BB

Bral Bral in ClickHouse не тормозит
Armenak
Неделю с ними экспериментирую. Пока результаты отрицательные. Требуется находить запись по ID (один типа UUID, второй String`). Знаю, что это неправильное использование OLAP базы данных. Пробовал индексы `set(0) и bloom_filter(0) GRANULARITY 1. Мне правда не очень понятно, за что отвечает granularity.

┌─version()──┐
│ 19.17.4.11 │
└────────────┘

Edited, гребанное форматирование строк в телеге
Как я понимаю - granularity указывает через сколько значений order by делать засечку, по которой потом будут искать.
источник

A

Armenak in ClickHouse не тормозит
И для кейса, когда надо искать запись по ID какое значение является рекомендуемым?
источник
2019 December 08

DC

Denny Crane (I don't... in ClickHouse не тормозит
дальше имхо, не верьете, пожалуйста

set(0) -- это все значения -- это бесмысленный конструкт, который не рекомендуется, потому что индекс будет размером как столбец, поэтому по столбцу искать дешевле, и тупо индекс умножает размер занимаемый столбцом.


GRANULARITY 1 -- из скольких гранул основного индекса, создавать гранулу индекса.

>когда надо искать запись по ID какое значение является рекомендуемым
да никакое, skip индексы в этом случае практически не помогают никогда. Помогает сделать еще одну таблицу (MV) отсортированную по ID.
источник

A

Armenak in ClickHouse не тормозит
Спасибо, попробую еще c MV.
источник

pk

papa karlo in ClickHouse не тормозит
а kv-базы чем не подошли для поиска по id?
источник

A

Armenak in ClickHouse не тормозит
papa karlo
а kv-базы чем не подошли для поиска по id?
Помимо поиска по ID таблица используется для аналитических запросов. Попробовал redis для хранения соответствий id->date, чтобы потом в CH добавить дополнительное условие по date. Но такое решение не понравилось: Redis потребляет слишком RAM; еще одна точка отказа, усложнение на уровне приложения.
источник

R

Rad in ClickHouse не тормозит
Kostya Kakunin
привет, как решил ошибку свою с 412 кодом, помоги. плиз
точно не помню, но зашел сейчас посмотреть, я выставил fs.file-max = 500000 в sysctl  и
root hard nofile 500000 
root soft nofile 500000

в limits
а в настройках контейнера добавил lxc.prlimit.nofile: 300000
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Rad
точно не помню, но зашел сейчас посмотреть, я выставил fs.file-max = 500000 в sysctl  и
root hard nofile 500000 
root soft nofile 500000

в limits
а в настройках контейнера добавил lxc.prlimit.nofile: 300000
ок но я не спец но лучше кратно степени 2 типа не 1000 а 1024 и т.п. так как память сегментируется ос кратно 1-4к байту
источник