AP
Size: a a a
2019 December 13
SC
Alexander Petrov
Т.е. условно у каждой записи на стороне CH есть "версия" и попахивает п.2
Еще раз спасибо! А есть где глянуть на перформанс optimize final, хотелось бы уметь оценивать время, которое будет затрачено на вот это вот все?
Причем мы хотим к началу нового дня получать уже все оптимизированное.
Из того что я понял, нам стоит действовать так:
1. Используем движок с версией для таблицы
2. Ночью вызываем OPTIMIZE FINAl
3. Делаем снепшот как SELECT FROM
4. BI работает со снепшотом, новые данные идут записываются в первоночальную таблицу с новыми версиями
5 ...
6. PROFIT !
Причем мы хотим к началу нового дня получать уже все оптимизированное.
Из того что я понял, нам стоит действовать так:
1. Используем движок с версией для таблицы
2. Ночью вызываем OPTIMIZE FINAl
3. Делаем снепшот как SELECT FROM
4. BI работает со снепшотом, новые данные идут записываются в первоночальную таблицу с новыми версиями
5 ...
6. PROFIT !
AP
Я по части данных пришёл к тому что проще партицию целиком без всяких шин перезалить в соседнюю таблицу и сделать https://clickhouse.yandex/docs/ru/query_language/alter/#alter_replace-partition
AP
Еще раз спасибо! А есть где глянуть на перформанс optimize final, хотелось бы уметь оценивать время, которое будет затрачено на вот это вот все?
Причем мы хотим к началу нового дня получать уже все оптимизированное.
Из того что я понял, нам стоит действовать так:
1. Используем движок с версией для таблицы
2. Ночью вызываем OPTIMIZE FINAl
3. Делаем снепшот как SELECT FROM
4. BI работает со снепшотом, новые данные идут записываются в первоночальную таблицу с новыми версиями
5 ...
6. PROFIT !
Причем мы хотим к началу нового дня получать уже все оптимизированное.
Из того что я понял, нам стоит действовать так:
1. Используем движок с версией для таблицы
2. Ночью вызываем OPTIMIZE FINAl
3. Делаем снепшот как SELECT FROM
4. BI работает со снепшотом, новые данные идут записываются в первоночальную таблицу с новыми версиями
5 ...
6. PROFIT !
Можно делать SELECT FROM из исходной таблицы, просто в зависмости от схемы партиционирования,частоты принудительных OPTIMIZE'ов и любви к изменениям прошлого этот запрос будет в разной степени не оптимальным
AP
Почти всегда можно найти баланс
AP
Alexander Petrov
Я по части данных пришёл к тому что проще партицию целиком без всяких шин перезалить в соседнюю таблицу и сделать https://clickhouse.yandex/docs/ru/query_language/alter/#alter_replace-partition
Но у меня иезуитские требования "хотим менять сильно прошлое и видеть данные с актуальностью в час". При никаком источнике информации, который ляжет если за него взяться обеими руками.
A
????? https://www.hetzner.com/news/traffic-limit/
какой у вас год?
какой у вас год?
Нашел. Внизу. Сослепу не заметил, что это для 10 Гбит интерфейсов
https://www.hetzner.com/dedicated-rootserver/px62
https://www.hetzner.com/dedicated-rootserver/px62
DC
Нашел. Внизу. Сослепу не заметил, что это для 10 Гбит интерфейсов
https://www.hetzner.com/dedicated-rootserver/px62
https://www.hetzner.com/dedicated-rootserver/px62
я сразу написал, что использую только 1G
A
угу. а я с 10 не связал как-то
SC
Alexander Petrov
Можно делать SELECT FROM из исходной таблицы, просто в зависмости от схемы партиционирования,частоты принудительных OPTIMIZE'ов и любви к изменениям прошлого этот запрос будет в разной степени не оптимальным
Как то так получилось
AP
Закупоньки... Странный PK(Primary key?): "A B" и "B B" слились в экстазе?
AP
Или... PK1 это не название, а значение...
AP
Тогда с OPTIMIZE, или помимо него, запрос будет
SELECT PK, argMax(B, V) as B_actual FROM ... GROUP BY PKa
а я правильно понимаю что OPTIMAZE FINAL работает как в постгресе Vaacum FULL. пересоздавая таблицы?
AP
а я правильно понимаю что OPTIMAZE FINAL работает как в постгресе Vaacum FULL. пересоздавая таблицы?
Партиции же, не?
AP
Если они указаны конечно
a
Alexander Petrov
Партиции же, не?
Ну он как то мерджит таблицы по странному. Я следил за местом на диске, пока он не отожрал столько же диска сколько весит и сама таблица, размер не уменьшился
IG
А можно как-то через использование версий и движка replaceMergeTree удалить запись?
Ну т.е с Sign это можно сделать, создав просто запись с флагом -1 и вызвав final
Ну т.е с Sign это можно сделать, создав просто запись с флагом -1 и вызвав final
DC
Ну он как то мерджит таблицы по странному. Я следил за местом на диске, пока он не отожрал столько же диска сколько весит и сама таблица, размер не уменьшился
если партиций мало то да. Все парты партиции записываются в новый парт, в какой-то момент существуют и новый парт и старые.
Все файлы / парты -- имьютабл, не изменяются.
Все файлы / парты -- имьютабл, не изменяются.
DC
А можно как-то через использование версий и движка replaceMergeTree удалить запись?
Ну т.е с Sign это можно сделать, создав просто запись с флагом -1 и вызвав final
Ну т.е с Sign это можно сделать, создав просто запись с флагом -1 и вызвав final
нет, нельзя удалить из replacingMergeTree, т.е. обычно поле типа deleted добавляют, и пишут версию с deleted=1