O
Привет, как бы средствами кх сделать json плоским, превратить
{“a”: 1, “b”: [{“c”: 2}, {“d”: 3}]} в [{“c”:2, “a”:1}, {“d”:3, “a”:1}]?Size: a a a
2019 November 29
JS
Привет всем, такая проблема, закончилось место на диске, кх встал в ридонли. как его вывести из этого состояния?
@den_crane Привет! я знаю, что только ты можешь мне помочь(((
RS
Всем привет, подскажите пожалуйста, кто либо использует интеграцию click house с kafka в проде на уровне движка таблицы ?
Насколько она стабильна, есть ли какие то нюансы, на которые стоит обратить внимание ?
Насколько она стабильна, есть ли какие то нюансы, на которые стоит обратить внимание ?
YK
Code: 1001. DB::Exception: Received from ch3.admline.ru:9000. DB::Exception: Local: Timed out.
никак не могу заставить 3 кликхауса читать очередь из кафки 2 работают один из них всегда пишет Timed out
AT
….
group by key_column
having max(ver)
я думаю что-то типа такого
хотя это так не работает)
ваш вариант будет рабочий
group by key_column
having max(ver)
я думаю что-то типа такого
хотя это так не работает)
ваш вариант будет рабочий
having max(ver) правда не рабочий.
Можете поточнее написать какой будет рабочий, sum(ver) > 0?
Не совсем понимаю. У меня ver всегда положительный для всех состояний. Я не могу отслеживать предыдущее состояние при вставке
Можете поточнее написать какой будет рабочий, sum(ver) > 0?
Не совсем понимаю. У меня ver всегда положительный для всех состояний. Я не могу отслеживать предыдущее состояние при вставке
AM
having max(ver) правда не рабочий.
Можете поточнее написать какой будет рабочий, sum(ver) > 0?
Не совсем понимаю. У меня ver всегда положительный для всех состояний. Я не могу отслеживать предыдущее состояние при вставке
Можете поточнее написать какой будет рабочий, sum(ver) > 0?
Не совсем понимаю. У меня ver всегда положительный для всех состояний. Я не могу отслеживать предыдущее состояние при вставке
Для ReplacingMergeTree он рабочий, только что проверяли. Но возникает проблема если за версию используется DateTime. Кто нибудь сталкивался? Ошибка возникает такая
toUnixTimestamp пробовали - тоже самое
DB::Exception: Illegal type UInt32 of column for filter. Must be UInt8 or Nullable(UInt8) or Const variants of them.
toUnixTimestamp пробовали - тоже самое
AT
Для ReplacingMergeTree он рабочий, только что проверяли. Но возникает проблема если за версию используется DateTime. Кто нибудь сталкивался? Ошибка возникает такая
toUnixTimestamp пробовали - тоже самое
DB::Exception: Illegal type UInt32 of column for filter. Must be UInt8 or Nullable(UInt8) or Const variants of them.
toUnixTimestamp пробовали - тоже самое
аналогичная проблема
M
having max(ver) правда не рабочий.
Можете поточнее написать какой будет рабочий, sum(ver) > 0?
Не совсем понимаю. У меня ver всегда положительный для всех состояний. Я не могу отслеживать предыдущее состояние при вставке
Можете поточнее написать какой будет рабочий, sum(ver) > 0?
Не совсем понимаю. У меня ver всегда положительный для всех состояний. Я не могу отслеживать предыдущее состояние при вставке
sum(ver) > 0 валиден для collapsing, тк там идет отмена состояния
то есть сначала 1, потом -1, и по итогу эта выборка отдает ничего, тк состояние отменено
если состояние осталось 1, то собсна вы и получите текущее состояние
то есть сначала 1, потом -1, и по итогу эта выборка отдает ничего, тк состояние отменено
если состояние осталось 1, то собсна вы и получите текущее состояние
AM
мы здесь ищем замену FINAL для ReplacingMergeTree
AM
введу в курс дела просто
M
Для ReplacingMergeTree он рабочий, только что проверяли. Но возникает проблема если за версию используется DateTime. Кто нибудь сталкивался? Ошибка возникает такая
toUnixTimestamp пробовали - тоже самое
DB::Exception: Illegal type UInt32 of column for filter. Must be UInt8 or Nullable(UInt8) or Const variants of them.
toUnixTimestamp пробовали - тоже самое
эта штука не работает корректно, тк будет все > 0 для ver
AM
а блин, с суммой косячек всё равно)
ПК
вы бы приравняли max(version) хоть к чему-нибудь, а то в текущем варианте возьмется любая группа в которой max(version) больше нуля
AM
короче надо потестить что будет дешевле ReplacingMergeTree + FINAL или CollapsingMergeTree + INSERT(SELECT) + HAVING
IB
Следующий ClickHouse митап в Москве состоится всего через полторы недели, 11 декабря: https://yandex.ru/promo/clickhouse/moscow-december-2019
Количество мест ограничено, так что стоит поспешить записаться, но live трансляцию тоже собираемся делать.
Количество мест ограничено, так что стоит поспешить записаться, но live трансляцию тоже собираемся делать.
DC
ну вот чет фейл какойто случился. при переезде на новый зукипер,
т.е. как было: остановлены кликхаусы. скопирован зукипер с помощью zkcopy , в конфигах поствлен новый зукипер. запущен кликхаус
судя по мониторингу инсерты были, а мержей не было.
починилось переименованием таблиц , созданием новых такихже и заливкой данных со старых таблиц
Но сейчас данных за ночь в кликхаусе не видно.
т.е. как было: остановлены кликхаусы. скопирован зукипер с помощью zkcopy , в конфигах поствлен новый зукипер. запущен кликхаус
судя по мониторингу инсерты были, а мержей не было.
починилось переименованием таблиц , созданием новых такихже и заливкой данных со старых таблиц
Но сейчас данных за ночь в кликхаусе не видно.
zkcopy использовать нельзя, он не копирует знчения автоинкрементов. Надо было копировать снепшот и логи. Теперь парты создаются с номерами которые уже есть и убиваются как дубликаты. Фактически вы убили себе зукипер. Либо попробуйте запустится на старом либо делайте процедуру как при потере данных зукипера.
DC
А что происходит - если делать freeze на текущую активную партицию? это же хард-линк - в shadow будут данные тоже меняться?
не будет. Кх не меняет файлы. Только создает новые.
S
zkcopy использовать нельзя, он не копирует знчения автоинкрементов. Надо было копировать снепшот и логи. Теперь парты создаются с номерами которые уже есть и убиваются как дубликаты. Фактически вы убили себе зукипер. Либо попробуйте запустится на старом либо делайте процедуру как при потере данных зукипера.
после пересоздания таблиц все заработало. переносить зукипер снапшотами нельзя было т.к. новый кластер зукипера был уже с данными, которые нельзя терять
Вопрос только где те данные кликхауса, которые заинсертились, но не смержились
Вопрос только где те данные кликхауса, которые заинсертились, но не смержились