PD
Э, и как через mat view?
Size: a a a
2021 August 18
IA
Выше ссылка
PD
Ни один из описанных там способов не гарантирует отсутствие дубликатов, увы.
OPTIMIZE FINAL DEDUPLICAE гарантирует, но он реально долго работает (и не понятно, что при этом происходит с matview на его основе, скорее всего ничего, т.е. для них нужно тоже запускать OPTIMIZE, что еще дольше)
OPTIMIZE FINAL DEDUPLICAE гарантирует, но он реально долго работает (и не понятно, что при этом происходит с matview на его основе, скорее всего ничего, т.е. для них нужно тоже запускать OPTIMIZE, что еще дольше)
c
Он вроде только на MergeTree или я упустил момент, когда и для Replacing стало возможным? Хотя если подумать, то ReplacingMergeTree относится к семейству основному... 🤔
PD
Он для всего семейства, насколько я помню.
c
Хмм, посмотрю (упустиль) :D
PD
"The OPTMIZE query is supported for MergeTree family, the MaterializedView and the Buffer engines"
"If you specify DEDUPLICATE, then completely identical rows (unless by-clause is specified) will be deduplicated (all columns are compared), it makes sense only for the MergeTree engine."
"If you specify DEDUPLICATE, then completely identical rows (unless by-clause is specified) will be deduplicated (all columns are compared), it makes sense only for the MergeTree engine."
c
Неее, это я помню первое, но вот второе, как раз для DEDUPLICATE, у меня вызывает сомнения...
c
Кароч ладно, надо работать 😅
IA
Да там предагрегат смысл которого - убавить объем
Для гарантии доп select делаешь
Для гарантии доп select делаешь
PD
Ну вот да, без агрегации в каждом из запросе - никакая дедупликация не работает, увы.
IA
Ну для аналитики раз в день норм
IA
Тут шел срач что нельзя убрать дубли никак и ch сломан от природы, на что я возразил что все отлично пашет
c
я утверждал где-то что КХ сломан от природы, кхм?
PD
Убрать из хранилища - никак.
Аггрегировать при каждом конкретном запросе - можно, но не бесплатно и довольно сложно для пользователя (он должен про это помнить)
Аггрегировать при каждом конкретном запросе - можно, но не бесплатно и довольно сложно для пользователя (он должен про это помнить)
IA
Речь шла про запрос который считает деньги
PD
Ты говорил "matview", но это решение не работает (
IA
Нет. Прочитай сначала. Я говорил про 3 слоя аггрегации + final вконце. слои нужны просто чтобы оптимальнее работало
PD
Ну так и final не гарантирует, нужна агрегация в конце и только так.
PD
Промежуточные слои через matview не дают никаких гарантий вообще.