DC
попробуйте использовать сторнирование, либо с collapsingMT либо с SummingMT
Size: a a a
2021 July 06
VC
ReplacingMergeTree у нас почему-то гораздо медленнее отработал на тестах. Надо будет ещё раз поковыряться, спасибо.
DC
обычно ответ на этот вопрос занимает недели, и несколько часовых митингов с клиентом, чтобы понять их бизнесспроцессы и сказать что на самом деле будет работать
K
Добрый вечер. Немного разбавлю ваше обсуждение небольшим вопросом)
Подскажите классику для создания агрегаций над ReplacingMT, через MV есть способы создать агрегацию без дубликатов данных, если в Replacing будут приезжать обновления?
Подскажите классику для создания агрегаций над ReplacingMT, через MV есть способы создать агрегацию без дубликатов данных, если в Replacing будут приезжать обновления?
VC
А можете подробнее рассказать, почему это медленно? Словарь он же весь в памяти лежит, насколько я понимаю.
DC
КХ может читать и аггрегировать миллиарды строк в секунду, словарь это пятое колесо, 10 млн. dictGet в сек.
Очень часто мы ускоряем клиентам запросы перенося dictGet на уровень выше (после группировки), запросы ускоряются в 10ки раз.
Очень часто мы ускоряем клиентам запросы перенося dictGet на уровень выше (после группировки), запросы ускоряются в 10ки раз.
VC
Ага, спасибо, теперь понятно.
DC
MV не читает таблицу исходную, MV пофигу что там за движок
DC
MV получают данные от ИНСЕРТОВ.
K
да я понимаю, я имею ввиду то, что в replacing будут дубликаты вставлять сумм/кол-ва по некоторым id, как бы их сложить MV в таблицу, которая будет агрегировать то что вставляем.
С Collapsing все понятно, там на -1 умножили, сумму отменили, и вставили нужную.
А вот со вставкой в Replacing чуть иначе получается
С Collapsing все понятно, там на -1 умножили, сумму отменили, и вставили нужную.
А вот со вставкой в Replacing чуть иначе получается
DC
да так же, вставили версию 10, отменяем -10, вставляем новое значение 100
K
понял, спасибо)
DC
я на -1 НЕ умножаю например, я и в collapsing пишу с минусом, я дописывал в доку https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/collapsingmergetree/#primer-drugogo-podkhoda
DC
Идея состоит в том, что слияния при сворачивании учитывают только ключевые поля, поэтому в отменяющей строке можно указать отрицательные значения, которые нивелируют предыдущую версию записи при суммировании без учета поля Sign.
DC
Нового тут ничего нет , в вертике точно также сторнируем, по многим причинам, включая то что таблицы с LAP не позволялил update/delete
K
да, этим способом пользуюсь, все отлично считает.
2021 July 07
ЕК
Доброе утро! Столкнулся с периодической ошибкой:
DB::Exception: Asynchronous write error on file /var/lib/clickhouse/store/f8b/f8b15971-20f4-4944-b85f-797a70ec6ba5/tmp_merge_20210706_2203986_2209222_32/country_id.bin
Возникает во время регулярно запускаемого оптимайза. Оптимайз запускаю из за того что данные по тех причинам пишутся с нахлестом. Движок - реплейсинг.
Что можно с этим сделать?IG
попробуйте datax
V
А что это?
