Size: a a a

ClickHouse не тормозит

2019 December 09

ЮТ

Юрий Тарабуткин... in ClickHouse не тормозит
Переслано от Jull
И никаких прогнозов?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Deze
Спасибо. А примеры такого есть? Таблица, насколько я могу судить, и создается на одной ноде. Ответ об ошибке приходит от другой ноды (если не ошибаюсь от реплики)
вам в гитхабе уже ответили. Вы делаете что-то бессмысленное. Создавайте таблицы например Engine=Memory. Temporary - это тоже Engine=Memory но они для другого.
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Добрый вечер. Скажите, если в mergetree order by tuple, т е нет индексов и все селекты делаю по партиции целиком, то параметр granularity не имеет значения? На скорость запросов это не повлияет? Просто у меня очень пухлые записи с большими массивами....
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Aleksandr Vasilev
Добрый вечер. Скажите, если в mergetree order by tuple, т е нет индексов и все селекты делаю по партиции целиком, то параметр granularity не имеет значения? На скорость запросов это не повлияет? Просто у меня очень пухлые записи с большими массивами....
имеет для многопоточности, если будет одна очень большая гранула, то только один поток будет выполнять запрос. И вроде памяти будет больше жрать для больших гранул.
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
имеет для многопоточности, если будет одна очень большая гранула, то только один поток будет выполнять запрос. И вроде памяти будет больше жрать для больших гранул.
Спасибо!
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Поиграюсь
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
но вообще mergetree order by tuple это странно. Явно misusage для КХ.
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
но вообще mergetree order by tuple это странно. Явно misusage для КХ.
У меня просто все выборки по дневным партициям. Это минимальный квант данных получается. Можно добавить индекс внутри дня, но ведь он не будет использоваться, и будет жрать память и скорость на вставке?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Aleksandr Vasilev
У меня просто все выборки по дневным партициям. Это минимальный квант данных получается. Можно добавить индекс внутри дня, но ведь он не будет использоваться, и будет жрать память и скорость на вставке?
и сколько строк в одном дне?
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
37 млн, одна строка из массива на несколько килобайт - мегабайт в перспективе
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Дни регулярно перезаливаются через реплейс партишин
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Поэтому нарезка по дням
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Aleksandr Vasilev
37 млн, одна строка из массива на несколько килобайт - мегабайт в перспективе
ну ОК. я бы оставил как есть -- по-умолчанию, на таких размерах без разницы
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну ОК. я бы оставил как есть -- по-умолчанию, на таких размерах без разницы
Спасибо
источник

VU

Vladislav U. in ClickHouse не тормозит
Nikolay
Там правее в вашем запросе есть ProfileEvents. Среди них есть RWLock. Помониторьте. Может они его ждут.
['Query','InsertQuery','FileOpen','WriteBufferFromFileDescriptorWrite','WriteBufferFromFileDescriptorWriteBytes','IOBufferAllocs','IOBufferAllocBytes','ArenaAllocChunks','ArenaAllocBytes','FunctionExecute','CreatedWriteBufferOrdinary','DiskWriteElapsedMicroseconds','InsertedRows','InsertedBytes','ZooKeeperTransactions','ZooKeeperCreate','ZooKeeperMulti','MergeTreeDataWriterRows','MergeTreeDataWriterUncompressedBytes','MergeTreeDataWriterCompressedBytes','MergeTreeDataWriterBlocks','ContextLock','RWLockAcquiredReadLocks']


Все insert стабильно с RWLockAcquiredReadLocks в конце списка

Что это значит?
источник

N

Nikolay in ClickHouse не тормозит
Vladislav U.
['Query','InsertQuery','FileOpen','WriteBufferFromFileDescriptorWrite','WriteBufferFromFileDescriptorWriteBytes','IOBufferAllocs','IOBufferAllocBytes','ArenaAllocChunks','ArenaAllocBytes','FunctionExecute','CreatedWriteBufferOrdinary','DiskWriteElapsedMicroseconds','InsertedRows','InsertedBytes','ZooKeeperTransactions','ZooKeeperCreate','ZooKeeperMulti','MergeTreeDataWriterRows','MergeTreeDataWriterUncompressedBytes','MergeTreeDataWriterCompressedBytes','MergeTreeDataWriterBlocks','ContextLock','RWLockAcquiredReadLocks']


Все insert стабильно с RWLockAcquiredReadLocks в конце списка

Что это значит?
Это название. Там рядом колонка со значениями.
источник

VU

Vladislav U. in ClickHouse не тормозит
а что эти значния значат? ms?
источник

N

Nikolay in ClickHouse не тормозит
Там для каждого евента своя шкала
источник

VU

Vladislav U. in ClickHouse не тормозит
сейчас есть один зависший. Ни одно значение в profileEvents не меняется
источник

N

Nikolay in ClickHouse не тормозит
Да, не видно . А perf есть возможность запустить ? Это бы позволило узнать место в коде, на котором вист сейчас.
источник