Size: a a a

ClickHouse не тормозит

2019 December 17

MK

Matwey Kornilov in ClickHouse не тормозит
Господа
источник

MK

Matwey Kornilov in ClickHouse не тормозит
А кто пробовал CH собирать с LTO?
источник

MK

Matwey Kornilov in ClickHouse не тормозит
Истории успеха пилите, потому-что у меня пока какие-то странные ошибки при линковке вываливаются
источник

DT

Dmitry Titov in ClickHouse не тормозит
Slach
OPTIMIZE без FINAL - асинхронный
с FINAL синхронный
ээ, разве?
источник

DT

Dmitry Titov in ClickHouse не тормозит
OPTIMIZE без FINAL тоже синхронный, просто ты запускаешь всего одну итерацию смерживания партов
а когда с FINAL то все смерживается до конца
источник

N

Nikita Blagodarnyy in ClickHouse не тормозит
Добрый день. Кто-то сталкивался? Выше писали, что пофиксили еще в 19.15. Но в 19.16 сохраняется.

2019.12.17 15:05:28.203337 [ 435 ] {} <Fatal> BaseDaemon: (version 19.16.2.2 (official build)) (from thread 192) Received signal Segmentation fault (11).
2019.12.17 15:05:28.203387 [ 435 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Unknown si_code.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Nikita Blagodarnyy
Добрый день. Кто-то сталкивался? Выше писали, что пофиксили еще в 19.15. Но в 19.16 сохраняется.

2019.12.17 15:05:28.203337 [ 435 ] {} <Fatal> BaseDaemon: (version 19.16.2.2 (official build)) (from thread 192) Received signal Segmentation fault (11).
2019.12.17 15:05:28.203387 [ 435 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Unknown si_code.
у меня такое есть на 19.17 когда какая то проблема с http запросом
источник

GP

Grisha Ptushko in ClickHouse не тормозит
Доброго дня, подскажите пожалуйста, сегодня запустил тяжелый запрос на копирование данных из одной таблицы в другую. Запрос завис, через некоторое время запустил kill query на него. Запрос из талицы processes пропал, но: теперь при обращении к таблице, куда копировал, запросы выполняются бесконечно долго, при попытке записи в другие таблицы пишет DB::Exception: Too many parts (304). Merges are processing significantly slower than inserts.  и оперативы процесс clickhousa стал есть куда больше. Вопрос как можно это порешать, и почему так вышло?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ivan Gagarkin
И еще вопрос. Вызов optimize - это синхронный или асинхронный запрос? На тестовой базе выполняется слишком быстро и сложно отследить. В доке про это ничего нет -)
Синхронный
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikita Blagodarnyy
Добрый день. Кто-то сталкивался? Выше писали, что пофиксили еще в 19.15. Но в 19.16 сохраняется.

2019.12.17 15:05:28.203337 [ 435 ] {} <Fatal> BaseDaemon: (version 19.16.2.2 (official build)) (from thread 192) Received signal Segmentation fault (11).
2019.12.17 15:05:28.203387 [ 435 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Unknown si_code.
такой сегфолт у множества разных багов существующих и будущих.
источник

ИИ

Илья Ионов in ClickHouse не тормозит
Друзья, а можете рассказать быстро ли работает кверя по json?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Илья Ионов
Друзья, а можете рассказать быстро ли работает кверя по json?
В сотни раз медленее чем по распаршенным полям
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ivan Gagarkin
Подскажите, пожалуйста, где можно узнать подробнее про replication_alter_partitions_sync и optimize. Кейс такой: есть таблица с миллиардами записей на движке ReplicatedCollapsingMergeTree, в течении дня она пополняется новыми записями + изменяются старые, ночью я хочу я вызвать optimize на тех партициях, где он не успел пройти в фоне и изменившиеся партиции скопировать в другую таблицу. Какая партиция будет выбрана при копировании? Та, что успела оптимизироваться, или любая?
Что странное вы описали. Т.е. за день вы добавляете возможные дубликаты в таблицу t. Ночью запустится optimize на все партиции где партов больше одного. И затем все скопируется в таблицу s? А не проще запросом просто выбрать с final ?
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Коллеги, приветствую, не подскажете ли, есть ли в CH возможность найти по like '%value%' значение, пробежавшись по всем полям всех таблиц, в том числе системных? даже можно чисто системных...
либо как вариант (может быть даже более простой) - прописываются ли где-то в БД адреса зукипера?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Николай Моисеенко
Коллеги, приветствую, не подскажете ли, есть ли в CH возможность найти по like '%value%' значение, пробежавшись по всем полям всех таблиц, в том числе системных? даже можно чисто системных...
либо как вариант (может быть даже более простой) - прописываются ли где-то в БД адреса зукипера?
Нет не прописываются(не отображаются).
при смене адреса зукиперов нужен рестарт кх.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Системные таблицы виртуальные. Они отображают структуры из памяти в табличном виде.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Такой like невозможен.
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Нет не прописываются(не отображаются).
при смене адреса зукиперов нужен рестарт кх.
спасибо, тогда будем искать дальше происходящую магию
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Николай Моисеенко
спасибо, тогда будем искать дальше происходящую магию
В чем магия?
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
с query_log

если в кратце - мы игрались с настройками CH в тестовой среде, поднимали зукипер и т.д.
в определенный момент, мы решили, что мы готовы внедрять CH закупили сервак, детачнули таблицы с тестовой среды, залили на серв, приаттачили их, запустили, все работает, все счастливы.
пока не заглянули в query_log который оказался пустым, точнее в нем записи заканчиваются на дате отключения тестового сервака.

разница между тестовым окружением и текущим - на тесте был зукипер, тут его нет.
в целом админов понять можно - нет кластера => зукипер особо и не нужен.

сегодня админы пол дня возились с конфигами, но не могут понять что не так
источник