SA
только таблицу (сделайте вью в PG и используйте его) и where у таблицы в словаре можно написать
респект
Size: a a a
2019 December 17
DC
Anton Kondakov
Я уже наступал на эти грабли :( Это должно аффектить общее количество партов по таблице, но оно одинаковое
вы неправильно понимаете
>аффектить общее количество партов по таблице, но оно одинаковое
это неверно
самое главное сколько разных logid прилетает из кафки за раз. Инсерт на стейдже у вас разбивается на "5" партов, на проде на "500"
Т.е. у меня есть похожая тема, PARTITION BY (logid, toStartOfDay(timestamp)). Я там сделал кол-во топиков по кол-ву logid, каждый logid в свой топик и из кафки тянется и пишется раздельно, чтобы в одном батче / insert-е был только один уникльный logid.
>аффектить общее количество партов по таблице, но оно одинаковое
это неверно
самое главное сколько разных logid прилетает из кафки за раз. Инсерт на стейдже у вас разбивается на "5" партов, на проде на "500"
Т.е. у меня есть похожая тема, PARTITION BY (logid, toStartOfDay(timestamp)). Я там сделал кол-во топиков по кол-ву logid, каждый logid в свой топик и из кафки тянется и пишется раздельно, чтобы в одном батче / insert-е был только один уникльный logid.
DC
если logid стремится к 1000, это вообще все не работает. Надо делать PARTITION BY ( toStartOfDay(timestamp) , logid в order by
2019 December 18
AK
Хм, не совсем понял, в order by и примари кей и так стоит PRIMARY KEY (timestamp, logid) ORDER BY (timestamp, logid
AK
А можно это как то промониторить?
DC
Anton Kondakov
А можно это как то промониторить?
промониторить что?
>PRIMARY KEY (timestamp, logid)
это тоже жесть, ад и израль с немцами. Не надо высокардинальные поля пихать в начало.
>PRIMARY KEY (timestamp, logid)
это тоже жесть, ад и израль с немцами. Не надо высокардинальные поля пихать в начало.
DC
я бы сделал PARTITION BY toYYYYMMDD(timestamp) PRIMARY KEY (logid, toStartOfHour(timestamp))
AK
так было изначально, но к сожалению у кликхауса проблемы с использованием ключа при запросах order by desc. Нужно буквальное соответсвие иначе запросы вечность выполняются :(
l
Anton Kondakov
так было изначально, но к сожалению у кликхауса проблемы с использованием ключа при запросах order by desc. Нужно буквальное соответсвие иначе запросы вечность выполняются :(
вроде в обратную сторону он почти так же быстро сканит, разве нет?
другое дело что соответствие ключа нужно, да.
другое дело что соответствие ключа нужно, да.
DC
Anton Kondakov
так было изначально, но к сожалению у кликхауса проблемы с использованием ключа при запросах order by desc. Нужно буквальное соответсвие иначе запросы вечность выполняются :(
пример запроса?
АВ
Добрый день, хотелось бы прояснить момент: у нас есть таблица, в ней 3.6 млн записей, на ее основе строим словарь. Выборка из system.dictionaries показывает что в словаре более 54 млн записей и отжирает он 6.5 Гб оперативки хотя сама таблица весит менее 300 Мб. Реально все это загружается в оперативку, и столько занимает места?
АН
Всем привет! Подскажите, пожалуйста, можно ли включить компрессию в clickhouse при условии, что есть уже много данных в БД. Если да, то что будет уже с существующими данными ? И будут ли они доступны при включении ?
up
AS
Привет всем, в одном из видео толи с митапа, то ли с HL++ видел метод, позволяющий преобразовывать элементы массива в строки. Может кто знает, что за метод?
A
arrayJoin?
AS
arrayJoin?
Да, точно, спасибо
MP
Алексей Волков
Добрый день, хотелось бы прояснить момент: у нас есть таблица, в ней 3.6 млн записей, на ее основе строим словарь. Выборка из system.dictionaries показывает что в словаре более 54 млн записей и отжирает он 6.5 Гб оперативки хотя сама таблица весит менее 300 Мб. Реально все это загружается в оперативку, и столько занимает места?
ну так в таблице данные сжаты, а в оперативке нет, да ещё и на хеш ключа оверхед
N
Алексей Волков
Добрый день, хотелось бы прояснить момент: у нас есть таблица, в ней 3.6 млн записей, на ее основе строим словарь. Выборка из system.dictionaries показывает что в словаре более 54 млн записей и отжирает он 6.5 Гб оперативки хотя сама таблица весит менее 300 Мб. Реально все это загружается в оперативку, и столько занимает места?
В таблице system.tables есть ещё колонка , которая показывает сколько в некопресированном виде занимает таблица. Словарь должен быть больше этого
S
НМ
Добрый день, есть какой-то способ удаления старых партиций одним запросом? Пока нашёл только запрос ALTER TABLE table_name DROP PARTITION partition_expr, но этим запросом можно удалить одну партицию только
A
Через баш и цикл как минимум точно получится