Size: a a a

ClickHouse не тормозит

2019 December 04

AM

Alexander Marshalov in ClickHouse не тормозит
Shazo
select database,table,columns_version from system.replicas


под виртуальными, что имеется в виду?
Я не понял, что такое columns_version, у меня там 0
источник

S

Shazo in ClickHouse не тормозит
Alexander Marshalov
Я не понял, что такое columns_version, у меня там 0
Если вы изменяете набор колонок, то там должна измениться цифра. Если вы про это спрашивали.
источник

AM

Alexander Marshalov in ClickHouse не тормозит
Shazo
Если вы изменяете набор колонок, то там должна измениться цифра. Если вы про это спрашивали.
Нет, речь про версию записи в ReplacingMT
источник

Е

Егор in ClickHouse не тормозит
Добрый День.
Подгружаю bash-ом данные на КХ:
"cat mytext | clickhouse-client --format_csv_delimiter="$" --format_csv_allow_double_quotes=0 --format_csv_allow_single_quotes=0 --query "insert into schema.my_table FORMAT CSV ";"
В файле редко попадаются битые строчки с лишним кол-вом столбцов. На этих битых строчек процесс загрузки падает.
Какая опцию прописать при загрузке, чтобы пропускать строчки, которые нельзя проинсертить?
источник

S

Shazo in ClickHouse не тормозит
Alexander Marshalov
Нет, речь про версию записи в ReplacingMT
Версия, это изменения партов после мерджей?
источник

EK

Evgeny Kruglov (work... in ClickHouse не тормозит
Ivan Blinkov
Мы сейчас занимаемся приоритезацией задач по дальнейшему улучшению документации ClickHouse и чтобы сделать это правильно, нам нужна обратная связь от вас. Если готовы помочь нам, заполните, пожалуйста, вот эту небольшую форму: https://forms.yandex.ru/surveys/10014882

Тем временем, следующий ClickHouse митап в Москве состоится уже через неделю, 11 декабря: https://yandex.ru/promo/clickhouse/moscow-december-2019
Количество мест ограничено, так что стоит поспешить записаться, но live трансляцию тоже собираемся делать.
А почему всего 140 символов?
источник

AM

Alexander Marshalov in ClickHouse не тормозит
Нет, это когда добавляешь две записи с одинаковым ключом, а он берет последнюю по его версии, она может быть указана явно (в виде реального столбца) или не указываться и КХ решает сам
источник

AM

Alex ⭕️ More in ClickHouse не тормозит
Егор
Добрый День.
Подгружаю bash-ом данные на КХ:
"cat mytext | clickhouse-client --format_csv_delimiter="$" --format_csv_allow_double_quotes=0 --format_csv_allow_single_quotes=0 --query "insert into schema.my_table FORMAT CSV ";"
В файле редко попадаются битые строчки с лишним кол-вом столбцов. На этих битых строчек процесс загрузки падает.
Какая опцию прописать при загрузке, чтобы пропускать строчки, которые нельзя проинсертить?
input_format_skip_unknown_fields
input_format_allow_errors_num
input_format_allow_errors_ratio
Можно поиграться с этими параметрами
источник

Е

Егор in ClickHouse не тормозит
Alex ⭕️ More
input_format_skip_unknown_fields
input_format_allow_errors_num
input_format_allow_errors_ratio
Можно поиграться с этими параметрами
Спасибо за помощь.
Есть ли возможность включить лог ошибок в внешний файл или табличку в КХ, если строчку не принимает?
Есть ли опция по регулированию размера батча при такой загрузке?
источник

IB

Ivan Blinkov in ClickHouse не тормозит
Evgeny Kruglov (work)
А почему всего 140 символов?
видимо случайно, убрал
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Евгений Угожаев
почитал, сомнительный вариант
никто не знает, когда обновление произойдет
есть варианты прямо в INSERT условие вставить?
в гугле есть варианты, но поддерживаются ли они CH?
использование SELECT FINAL помогает, но тормозит запросы
есть ли варианты эффективнее?
или альтернатива только предварительная очистка данных?
источник

ZL

Zufar Latypov in ClickHouse не тормозит
Привет
Подскажите, при вставке данных по HTTP-протоколу может ли КХ вернуть ответ, но при этом дообработать вставку в фоне?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Евгений Угожаев
использование SELECT FINAL помогает, но тормозит запросы
есть ли варианты эффективнее?
или альтернатива только предварительная очистка данных?
Насколько большие вставки у тебя и как много повторов?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Zufar Latypov
Привет
Подскажите, при вставке данных по HTTP-протоколу может ли КХ вернуть ответ, но при этом дообработать вставку в фоне?
Если идёт вставка в distributed таблицу, то так и будет
источник

A

Alexander in ClickHouse не тормозит
Вопрос тем кто использует clickhouse-backup - он работает удалённо по сети?
источник

ZL

Zufar Latypov in ClickHouse не тормозит
Dmitry Titov
Если идёт вставка в distributed таблицу, то так и будет
Вставка в не-distributed
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Dmitry Titov
Насколько большие вставки у тебя и как много повторов?
по 100 000 вставки
во время разработки дубликаты по несколько раз в день
в продакшене раз в неделю, примерно
источник

A

Alexander in ClickHouse не тормозит
clickhouse-backup, есть упоминание параметра host, но запускать рекомендуется от "Run as 'root' or 'clickhouse' user" - что намекает на локальное использование.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Zufar Latypov
Вставка в не-distributed
Тогда вопрос, в том
Что такое поведение нужно получить, или как раз не нужно?
источник

ZL

Zufar Latypov in ClickHouse не тормозит
Просто хочется понять, бывает ли такое, и если бывает, то какой код при этом возвращается, 200 или какой-то другой
источник