Size: a a a

ClickHouse не тормозит

2019 November 26

KS

Kostya Struga in ClickHouse не тормозит
всем привет, подскажите где настраиваются политики по system.query_thread_log - вижу что он очень большой, не смог найти в документации
источник

O

Oleg in ClickHouse не тормозит
приветствую. подскажите, можно ли делать insert из CSV со второй строки?
источник

KS

Kirill Shvakov in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!
Есть ли в CH комнада для быстрого копирования партиции из одной таблицы в другую через SQL команду?
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
Всем привет
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Евгений Угожаев
классный способ, кстати
сразу можно файлы разбивать по любому количеству записей
но есть минус один
мне читать еще приходится в ходе наполнения буфера, чтобы не дублировать информацию
из файлов это делать можно, но неудобно
будет ли работа с файлами быстрее, чем с бд?
PS: разработка на php
На самом деле, есть вероятность что будет. Работа с бд это в конечном счёте все равно файлы. Плюс тебе надо реализовать минимальное количество операций, по сути вставку и чтение
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
На самом деле, есть вероятность что будет. Работа с бд это в конечном счёте все равно файлы. Плюс тебе надо реализовать минимальное количество операций, по сути вставку и чтение
угу
реализовать микро бд на файлах )
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Вставляешь строку в нужном формате до достижение определенного кол-ва строк, потом бросаешь. Потом запускаешь перекачку в клик, там прям есть чтение из файла, после этого файл удаляешь
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
То есть по факту только вставка
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
никак не пойму почему не применяется параметр max_memory_usage, я его прописал и в users.xml и в config.xml и все равно получаю
 max_memory_usage       │ 10000000000 │       1 │ Maximum memory usage for processing of single query. Zero means unlimited.                                               │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │        0 │
источник

A

Andrey in ClickHouse не тормозит
Kostya Struga
всем привет, подскажите где настраиваются политики по system.query_thread_log - вижу что он очень большой, не смог найти в документации
В конфиге секция:
<query_thread_log>
       <database>system</database>
       <table>query_thread_log</table>
       <partition_by>toYYYYMM(event_date)</partition_by>
       <flush_interval_milliseconds>7500</flush_interval_milliseconds>
   </query_thread_log>


Управлять включением/выключением можно через параметр log_query_threads = 0/1 в профилях.
Чистить по партициям.
источник

KS

Kostya Struga in ClickHouse не тормозит
Andrey
В конфиге секция:
<query_thread_log>
       <database>system</database>
       <table>query_thread_log</table>
       <partition_by>toYYYYMM(event_date)</partition_by>
       <flush_interval_milliseconds>7500</flush_interval_milliseconds>
   </query_thread_log>


Управлять включением/выключением можно через параметр log_query_threads = 0/1 в профилях.
Чистить по партициям.
спасибо
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
Yuri Kudryavtsev
никак не пойму почему не применяется параметр max_memory_usage, я его прописал и в users.xml и в config.xml и все равно получаю
 max_memory_usage       │ 10000000000 │       1 │ Maximum memory usage for processing of single query. Zero means unlimited.                                               │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │        0 │
ктонить знает почему ?
источник

A

Andrey in ClickHouse не тормозит
Yuri Kudryavtsev
никак не пойму почему не применяется параметр max_memory_usage, я его прописал и в users.xml и в config.xml и все равно получаю
 max_memory_usage       │ 10000000000 │       1 │ Maximum memory usage for processing of single query. Zero means unlimited.                                               │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │        0 │
в -preprocessed.xml он появился?
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
Andrey
в -preprocessed.xml он появился?
да
источник

A

Andrey in ClickHouse не тормозит
в error логе точно ничего по этому поводу нет?
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
в config.xml в preprocessed появился, а в users старое значение
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
хотя я его переопределяю
источник

YK

Yuri Kudryavtsev in ClickHouse не тормозит
Andrey
в error логе точно ничего по этому поводу нет?
все врубился, спасибо за наводку
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Вставляешь строку в нужном формате до достижение определенного кол-ва строк, потом бросаешь. Потом запускаешь перекачку в клик, там прям есть чтение из файла, после этого файл удаляешь
бывают ситуации, когда надо читать
они не в норме, но есть
поэтому только вставкой не обойтись
перекачка в клик будет опять только на этом сервере?
источник

ДС

Дарья Стрюк... in ClickHouse не тормозит
Всем привет! У меня при попытке сделать join возникает ошибка Code: 288, e.displayText() = DB::Exception: Distributed table should have an alias when distributed_product_mode set to local. (version 19.11.11.57 (official build)). Как ее избежать?
источник