Size: a a a

ClickHouse не тормозит

2019 November 26

YV

Yuri Velgosha in ClickHouse не тормозит
Deance
для тестов чего? тестов кликхауза?
Прям в документации жеж усе написано:
The Log engine is appropriate for temporary data, write-once tables, and for testing or demonstration purposes.
(Движок Log подходит для временных данных, write-once таблиц, а также для тестовых и демонстрационных целей.)
(С) - https://clickhouse.yandex/docs/ru/operations/table_engines/log_family/
источник

D

Deance in ClickHouse не тормозит
Yuri Velgosha
Прям в документации жеж усе написано:
The Log engine is appropriate for temporary data, write-once tables, and for testing or demonstration purposes.
(Движок Log подходит для временных данных, write-once таблиц, а также для тестовых и демонстрационных целей.)
(С) - https://clickhouse.yandex/docs/ru/operations/table_engines/log_family/
Да, читал, не понял, почему для этих же целей не использовать MergeTree?
Меньше данных на диске?
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Меньше накладных расходов, ибо MergeTree еще жеж данные перелопачивает в фоне, а Log'у нужно просто записать данные as is и усе.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Спасибо, это вызывает некоторый оптимизм :)
источник

S

Shazo in ClickHouse не тормозит
Wolf Kreuzerkrieg
Спасибо, это вызывает некоторый оптимизм :)
по возможности всё же alter на изменений структуры  для on cluster избегаем. Снимаем нагрузку с шарда, применяем alter.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Но вот вторая часть ответа как то меньше. Допустим что у нас движок дистрибьютед. Делают альтер на таблицу, на ноде на которой бежит инсерт, блокируется исполнение альтера, но на удаленой таблице этого не происходит (я так думаю), ведь никто ничего с этой таблицей не делает в данный момент. Альтер делает изменения. Тут на первой ноде заканчивается инсерт и часть даты начинает переписываться на удаленную таблицу, и вот что произойдет в этот момент? схема то не соответствует...
источник

S

Shazo in ClickHouse не тормозит
Wolf Kreuzerkrieg
Но вот вторая часть ответа как то меньше. Допустим что у нас движок дистрибьютед. Делают альтер на таблицу, на ноде на которой бежит инсерт, блокируется исполнение альтера, но на удаленой таблице этого не происходит (я так думаю), ведь никто ничего с этой таблицей не делает в данный момент. Альтер делает изменения. Тут на первой ноде заканчивается инсерт и часть даты начинает переписываться на удаленную таблицу, и вот что произойдет в этот момент? схема то не соответствует...
дистрибьюьтед движок данных не хранит.  Делая альтер на него, менятся только он. Таблица реплицируемая?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Допустим реплицируемая... а что значит дистрибьютед не хранит данные?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
А.. понял что ты имеешь в виду, ну не сам движок а underlaying merge tree table
источник

S

Shazo in ClickHouse не тормозит
Wolf Kreuzerkrieg
Допустим реплицируемая... а что значит дистрибьютед не хранит данные?
Могу ошибаться, но для шарда есть мастер и alter запросы всегда на нем выполняются. К остальным они лишь прилетают. ALTER не меняет сильно стурктуру - клонка добавляется лишь с DEFAULT который пишется лишь при SELECT. drop partition  сначала лишь помечает парты.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
гм... разве? сеичас в коде гляну, что то не помню такого
источник

S

Shazo in ClickHouse не тормозит
Wolf Kreuzerkrieg
гм... разве? сеичас в коде гляну, что то не помню такого
Добавление столбца всего лишь меняет структуру таблицы, и не производит никаких действий с данными - соответствующие данные не появляются на диске после ALTER-а. При чтении из таблицы, если для какого-либо столбца отсутствуют данные, то он заполняется значениями по умолчанию (выполняя выражение по умолчанию, если такое есть, или нулями, пустыми строками).


https://clickhouse.yandex/docs/ru/query_language/alter/#alter_add-column
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Запрос ALTER на изменение столбцов реплицируется. Соответствующие инструкции сохраняются в ZooKeeper, и затем каждая реплика их применяет. Все запросы ALTER выполняются в одном и том же порядке. Запрос ждёт выполнения соответствующих действий на всех репликах. Но при этом, запрос на изменение столбцов в реплицируемой таблице можно прервать, и все действия будут осуществлены асинхронно.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Создается впечатление что обо всех таких случаях подумали
источник

S

Shazo in ClickHouse не тормозит
да, это так.  в рамках одного шарда такое поведение есть.
источник

AS

Aleh Sauko in ClickHouse не тормозит
всем привет, подскажите пожалуйста, как с кавычками в csv файле справиться чтоб кх раздуплил \":

"SHARED_APARTMENT","Villas del Sol \"Plus\"","Soilidaridad",\N

я так понимаю проще всего как-то sed-ом обойти, можете плиз скинуть кто сталкивался, а то я с ним не оч дружу
https://github.com/ClickHouse/ClickHouse/issues/2357
источник

AM

Anton Mikhalev in ClickHouse не тормозит
sed -i 's/\\\"/НА ЧТО ЗАМЕНЯЕМ/g' file.csv
источник

AM

Anton Mikhalev in ClickHouse не тормозит
если в файле кавычки уже экранированы
источник

AS

Aleh Sauko in ClickHouse не тормозит
спасиба
источник

MG

Mike Gostev in ClickHouse не тормозит
Всем привет. Нужен совет. У меня есть поле с битмапом ``bmap` AggregateFunction(groupBitmap, UInt32)` Как туда что-то можно положить через JDBC?
источник