IA
Вот я погуглил и первая же дата
1996 только придумали LSM
https://en.wikipedia.org/wiki/Log-structured_merge-tree
1996 только придумали LSM
https://en.wikipedia.org/wiki/Log-structured_merge-tree
Size: a a a
2020 November 07
N
Igor A
Да нет же. Просто я не уверен что вы шарите хотя бы в clickhouse
Ну я шарю немного в КХ , но ведь это не важно . Если бы не шарил , то наврятли что то это изменило
IA
до 96 все что бессмысленно.
потом еще что-то придумали.
и так по крупицам накопилось фич чтобы vertica в убогом виде появилась в 2006
потом еще что-то придумали.
и так по крупицам накопилось фич чтобы vertica в убогом виде появилась в 2006
IA
и чз 5-10 лет вертика возмужала до нормальной базы
N
Igor A
Вот я погуглил и первая же дата
1996 только придумали LSM
https://en.wikipedia.org/wiki/Log-structured_merge-tree
1996 только придумали LSM
https://en.wikipedia.org/wiki/Log-structured_merge-tree
В КХ не lsm , а lsm подобная структура . В принципе они пишут об этом даже в свой доке. У них от lsm скорее только sstable и все
IA
мой аргумент простой - практика.
по каким магическим причинам до vertica это поле было полумертвое я не знаю
по каким магическим причинам до vertica это поле было полумертвое я не знаю
IA
может данных у людей было мало) ставили 1 мейнфрейм и все влезало.
IA
в 2000х mysql даже был сырой вроде
IA
а вы про колоночные.. )
p
Nikolay
А куда ?
Т.е. если мы посмотрим на коробку с 4шт nvme дисками на pcie4.0, то это 16 линий pcie и 32Гб/с полосы, а пара 100g интерфейсов - это уже 25Гб/с полосы.
DDR4-3200 - это 25.6Гб/с полосы на канал, т.е. нам уже надо 2 канала просто чтобы прокачать данные nvme => nic
DDR4-3200 - это 25.6Гб/с полосы на канал, т.е. нам уже надо 2 канала просто чтобы прокачать данные nvme => nic
N
вот кстати из официальной доки КХ выдержка. ClickHouse - полноценная колоночная СУБД. Данные хранятся в колонках, а в процессе обработки - в массивах (векторах или фрагментах (chunk’ах) колонок). По возможности операции выполняются на массивах, а не на индивидуальных значениях. Это называется “векторизованное выполнения запросов” (vectorized query execution), и помогает снизить стоимость фактической обработки данных.
Эта идея не нова. Такой подход использовался в APL (A programming language, 1957) и его потомках: A + (диалект APL), J (1990), K (1993) и Q (язык программирования Kx Systems, 2003). Программирование на массивах (Array programming) используется в научных вычислительных системах. Эта идея не является чем-то новым и для реляционных баз данных: например, она используется в системе VectorWise (так же известной как Actian Vector Analytic Database от Actian Corporation
Эта идея не нова. Такой подход использовался в APL (A programming language, 1957) и его потомках: A + (диалект APL), J (1990), K (1993) и Q (язык программирования Kx Systems, 2003). Программирование на массивах (Array programming) используется в научных вычислительных системах. Эта идея не является чем-то новым и для реляционных баз данных: например, она используется в системе VectorWise (так же известной как Actian Vector Analytic Database от Actian Corporation
N
ну вот они сами в КХ ссылаются на Kdb!
IA
ага а бенчмарки делают против vertica)
IA
чтото с kdb было не так
IA
раз его не использовали
IA
в ит часто так. технология есть но никто не пользует
IA
потому что сырая или минусов больше чем плюсов
IA
вместо kdb расцвел hadoop
N
Как не используют kdb. К нас на работе он есть много много лет. Мне приходилось к нему даже запросы делать.
IA
ну узнайте когда его взяли.