Size: a a a

ClickHouse не тормозит

2019 December 11

S

Shazo in ClickHouse не тормозит
Sergey Kuzmin
3 реплики, шард единственный
select * from system.clusters?  Если много, то нужен лишь тот где задействована таблица
источник

Н

Николай in ClickHouse не тормозит
Сергей Глубоков
Это да, просто интересно, как это работает без LowCardinality (надо ли переделывать и переписывать старые таблицы)
C int'ами сравнения нет, LowCardinality полностью устроил, жертвовать удобством и руками работать со словарями не захотелось.
источник

SK

Sergey Kuzmin in ClickHouse не тормозит
Shazo
select * from system.clusters?  Если много, то нужен лишь тот где задействована таблица
[
('clustername', 1, 1, 1, 'x.x.x.65', 'x.x.x.65', 9000, 0, 'default', '', 0, 0),
('clustername', 1, 1, 2, 'x.x.x.66', 'x.x.x.66', 9000, 0, 'default', '', 0, 0),
('clustername', 1, 1, 3, 'x.x.x.67', 'x.x.x.67', 9000, 1, 'default', '', 0, 0)
]
источник

S

Shazo in ClickHouse не тормозит
Sergey Kuzmin
[
('clustername', 1, 1, 1, 'x.x.x.65', 'x.x.x.65', 9000, 0, 'default', '', 0, 0),
('clustername', 1, 1, 2, 'x.x.x.66', 'x.x.x.66', 9000, 0, 'default', '', 0, 0),
('clustername', 1, 1, 3, 'x.x.x.67', 'x.x.x.67', 9000, 1, 'default', '', 0, 0)
]
Без ON CLuster работает? так как если у вас у вас один шард, Запрос ALTER должен отреплицироваться внутри шарда.
источник

SK

Sergey Kuzmin in ClickHouse не тормозит
Shazo
Без ON CLuster работает? так как если у вас у вас один шард, Запрос ALTER должен отреплицироваться внутри шарда.
Ничоси! Сработало
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Прямой эфир митапа будет?
источник

SK

Sergey Kuzmin in ClickHouse не тормозит
источник

O

Orlan in ClickHouse не тормозит
Konstantin Malanchev
max(arrayJoin(arr)) подойдет?
спасибо
источник

O

Orlan in ClickHouse не тормозит
Alex Krash
arrayReverseSort(arr)[1]
спасибо
источник

СГ

Сергей Глубоков... in ClickHouse не тормозит
Николай
Таблица - значения телеметрий от устройств. Есть столбец с названием метрики. Сценарий такой же, как у вас - могут появляться новые метрики, но общее количество достаточно небольшое (сейчас 22). В тестовой таблице 400млн строк, распределение метрик неравномерное, есть метрики с 200млн записей, есть с 1млн.
1. Тип метрики String, столбец в сжатом виде - 17Мб, в распакованном - 3,8гб.
Если тип LowCardinality(String) - в сжатом виде 1.7Мб, в распакованном - 377мб.
2. SELECT COUNT() с фильтром по метрике:
String: Elapsed: 4.983 sec. Processed 394.41 million rows, 7.29 GB (79.15 million rows/s., 1.46 GB/s.)
LowCardinality: Elapsed: 1.609 sec. Processed 394.41 million rows, 395.26 MB (245.07 million rows/s., 245.60 MB/s.)
Спасибо огромное! То что надо.
источник

MT

Maks Ti in ClickHouse не тормозит
Может ли новый clickhouse-copier не работать со старыми версиями кх?

Пользуюсь первый раз, ловлю ошибку. clickhouse-copier v 19.17.5.18
2019.12.11 15:25:19.670784 [ 1 ] {} <Trace> Connection (X.X.X.X:9000): Connected to ClickHouse server version 19.15.2.
2019.12.11 15:25:19.724865 [ 1 ] {} <Error> ClusterCopier: Will retry: Code: 393, e.displayText() = DB::Exception: There is no query, Stack trace:

0. 0x562835c6d690 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x562835c6d465 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x562835989a17 ? /usr/bin/clickhouse
3. 0x562838fbd0f9 DB::Context::getSampleBlockCache[abi:cxx11]() const /usr/bin/clickhouse
4. 0x5628390579ec DB::InterpreterSelectWithUnionQuery::getSampleBlock(std::shared_ptr<DB::IAST> const&, DB::Context const&) /usr/bin/clickhouse
5. 0x562839002685 DB::InterpreterCreateQuery::createTable(DB::ASTCreateQuery&) /usr/bin/clickhouse
6. 0x562839004975 DB::InterpreterCreateQuery::execute() /usr/bin/clickhouse
7. 0x562835db72b4 DB::ClusterCopier::dropAndCreateLocalTable(std::shared_ptr<DB::IAST> const&) /usr/bin/clickhouse
8. 0x562835dc5962 ? /usr/bin/clickhouse
9. 0x562835dc8a98 ? /usr/bin/clickhouse
10. 0x562835dc9bec ? /usr/bin/clickhouse
11. 0x562835dd0f58 DB::ClusterCopier::process(DB::ConnectionTimeouts const&) /usr/bin/clickhouse
12. 0x562835daa734 DB::ClusterCopierApp::mainImpl() /usr/bin/clickhouse
13. 0x562835bb4df2 DB::ClusterCopierApp::main(std::vector<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::allocator<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > > > const&) /usr/bin/clickhouse
14. 0x562839d34e98 Poco::Util::Application::run() /usr/bin/clickhouse
15. 0x562839d4b5de Poco::Util::ServerApplication::run(int, char**) /usr/bin/clickhouse
16. 0x562835da7760 mainEntryClickHouseClusterCopier(int, char**) /usr/bin/clickhouse
17. 0x562835ba9a7d main /usr/bin/clickhouse
18. 0x7f0804880b97 __libc_start_main /lib/x86_64-linux-gnu/libc-2.27.so
19. 0x562835c131ca _start /usr/bin/clickhouse
источник

IP

Ilya Petrov in ClickHouse не тормозит
Николай
1. Materialized View. Select в запросе как раз использует вставляемые данные.
2. Live View возможно подойдёт https://www.altinity.com/blog/tag/Live+Views
Может подскажете : А если вдруг захочется сделать LiveView над MaterializwdView то будут ли проблемы?
источник

Н

Николай in ClickHouse не тормозит
Ilya Petrov
Может подскажете : А если вдруг захочется сделать LiveView над MaterializwdView то будут ли проблемы?
Я пока не пробовал Live View, но предполагаю, что они работают аналогично MV. А каскадные MV относительно недавно наконец-то реализовали. Так что должно нормально работать, но надо потестить.
источник

IP

Ilya Petrov in ClickHouse не тормозит
Николай
Я пока не пробовал Live View, но предполагаю, что они работают аналогично MV. А каскадные MV относительно недавно наконец-то реализовали. Так что должно нормально работать, но надо потестить.
Спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Orlan
Привет всем. Подскажите, плиз, как достать из массива максимальный элемент?
arrayReduce('max', arr)
источник

C

Constantine in ClickHouse не тормозит
Подскажите - параметры ZK автоподгружаемы или надо принудительно перезапускать сервер?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Constantine
Подскажите - параметры ZK автоподгружаемы или надо принудительно перезапускать сервер?
перегружать
источник

C

Constantine in ClickHouse не тормозит
спс
источник

IP

Ilya Petrov in ClickHouse не тормозит
Я только по Live View не понял одно: Он будет хранить все версии или последнюю/ние?
источник

VZ

Vitaliy Zakaznikov in ClickHouse не тормозит
Ilya Petrov
Я только по Live View не понял одно: Он будет хранить все версии или последнюю/ние?
Только последнюю.
источник