так а какая разница для clickhouse-copier один инстанс или нет

Всем привет. Подскажите, плиз, есть ли какие-то best practices по перегону данных из одной таблицы в другую в рамках одного инстанса? Есть одна табличка (~500m записей), нужно перегнать их в другую с немного изменённой структурой. INSERT SELECT подходит прекрасно за исключением одного момента. Есть несколько materialized views. Их тоже надо как-то перегнать и мне интересно, как лучше это сделать. Пробовал создать на новой таблице и после этого перегонять данные — падает с ошибкой о лимите памяти на запрос. Такая же история если просто делать INSERT INTO new_matview_name SELECT ... FROM old_matview_name. Пока что крутится в голове просто переливать данные постепенно, небольшими кусочками, но выглядит так, будто есть способ проще/эффективнее. Clickhouse-copier вряд ли подойдёт, т.к. всего 1 инстанс, зукипер не используем.

Господа, а есть какой-то аналог EXPLAIN ANALYZE?

1. сколько памяти у сервера?
2. что такое в MV что оно жрет память? Join ?
3. попробуйте set max_block_size=10000, max_insert_block_size=100000 перед insert в таблицу с MV.

1. 32GB, кажется
2. На первый взгляд ничего такого, просто табличка
3. Попробую, спасибо

>32GB
set max_memory_usage=20000000000, max_bytes_before_external_sort=15000000000, max_bytes_before_external_group_by=15000000000

>2. На первый взгляд ничего такого, просто табличка
ну group by / order by там есть?

>32GB
set max_memory_usage=20000000000, max_bytes_before_external_sort=15000000000, max_bytes_before_external_group_by=15000000000

>2. На первый взгляд ничего такого, просто табличка
ну group by / order by там есть?

Order by безусловно есть

set send_logs_level = 'debug'

у КХ нет оптимизатора, там все прямое как палка

гм, в select-e order by ? нафига? он там только память жрет и тормозит.

гм, в select-e order by ? нафига? он там только память жрет и тормозит.

Сама таблица MergeTree(), matviews с другими движками (например, SummingMergeTree())
Order by, соответственно, в качестве первичного ключа

я спрашивал про order by в select. При чем тут первичный ключ движка.

попробую найти как до компа доберусь

Подскажите! ситуация подталкивает к использованию таблиц merge, собственно и возник вопрос , хотя ответ , скорее всего будет - "нет" , но все же. Есть 2 таблицы - данные идентичны , различия только в order by. Обращение идёт к таблице merge , к примеру , по ключу сортировки из первой таблицы. Какой вернётся результат ? Двойной- поскольку данные идентичны , или же мердж подумает , что за предикат и будет искать только в той таблице , где это актуально?