Size: a a a

ClickHouse не тормозит

2019 December 12

МШ

Михаил Ш in ClickHouse не тормозит
я про облако яндекса
источник

YV

Yuri Velgosha in ClickHouse не тормозит
А, ну это да. Ну тут уже чисто российская специфика с чисто российской жадностью :)
источник

V

Vitaly in ClickHouse не тормозит
Yuri Velgosha
А, ну это да. Ну тут уже чисто российская специфика с чисто российской жадностью :)
Как говорится, сделайте альтернативный сервис более дешевле и все переедут к вам:)
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Михаил Ш
Смотрю на тарифы яндекс облака (под кликхаус). Как ни кручу параметры, это решение оказывается дороже в разы, чем сервера в аренду. intel broadwell 16vcpu 64gb и 1тб сетевого ссд = 570 евро, в онлайне можно взять значительно более мощное железо в аренду (тот же проц, но 2 физических (40vcpu), 256ram и 3*500ssd) почти в два раза дешевле или 8 серверов на е3 с теми же 64gb и с 3*500ssd. Я что то упускаю из виду? Что то не правильно считаю? Каков кейс использования этого облака?
Не очень правильный рассчет. Сколько денег вы потеряете, когда будете обслуживать этот сервер? Сколько будет в принципе стоить поддержка сервера? Замена вышедших из строя дисков и памяти?
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Если инхаус цод, сколько будет стоить подвод питания с двух подстанции, два канала связи?
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Все, не флужу
источник

МШ

Михаил Ш in ClickHouse не тормозит
если говорим про вариант с 6 машинками, то оверкост на уровне стоимости двух часов работы сисадмина в месяц, в случае проблем с железом - письмо хостеру и ожидание его замены. инхаус - это конечно вариант для совсем отчаяных
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Михаил Ш
если говорим про вариант с 6 машинками, то оверкост на уровне стоимости двух часов работы сисадмина в месяц, в случае проблем с железом - письмо хостеру и ожидание его замены. инхаус - это конечно вариант для совсем отчаяных
С арендой бареметал все упирается в наличие толковых админов. Если есть и вы в них уверены - конечно дешевле. Если надо искать и неизвестно сколько они запросят - проще купить SAAS
источник

г

главный Библиотекарь... in ClickHouse не тормозит
Админ на два часа в любое время суток и с опытом кликхауса ?
источник

г

главный Библиотекарь... in ClickHouse не тормозит
Это же не mysql
источник

AK

Artem Kanaki in ClickHouse не тормозит
Всем привет) вопрос к людям которые понимают специфику работы кликхауса, потому что я ее не до конца еще понял) наша команда решила использовать ReplacingMergeTree для того что бы избежать дубликатов. В доке указано что схлопывание записей происходит в какой то момент времени, но в когда это произойдет никто не знает. мы решили потестить эту фичу и создали таблицу с 4млн записей половина из которых это дубликаты. мы подождали день и в таблице осталось 4млн записей, то есть дубликаты не схлопнулись. Сейчас помогает только вызов OPTIMIZE TABLE table_name FINAL, при вызове этой команды дубликаты таки удаляются. Следовательно у меня вопрос, есть ли какие то четкие промежутки времени через которые кликхаус самостоятельно начинает схлопывать данные? возможно это как то можно сконфигуририровать?
источник

МШ

Михаил Ш in ClickHouse не тормозит
дык вот именно, что не mysql, за год полета вопросов вообще как то не возникало... вот прям очень хочется саас, чтоб не думать ни о чем, но как начну примеряться, получается, что это прям в разы дороже и остаюсь жить в каменном веке с арендованным железом
источник

МШ

Михаил Ш in ClickHouse не тормозит
Artem Kanaki
Всем привет) вопрос к людям которые понимают специфику работы кликхауса, потому что я ее не до конца еще понял) наша команда решила использовать ReplacingMergeTree для того что бы избежать дубликатов. В доке указано что схлопывание записей происходит в какой то момент времени, но в когда это произойдет никто не знает. мы решили потестить эту фичу и создали таблицу с 4млн записей половина из которых это дубликаты. мы подождали день и в таблице осталось 4млн записей, то есть дубликаты не схлопнулись. Сейчас помогает только вызов OPTIMIZE TABLE table_name FINAL, при вызове этой команды дубликаты таки удаляются. Следовательно у меня вопрос, есть ли какие то четкие промежутки времени через которые кликхаус самостоятельно начинает схлопывать данные? возможно это как то можно сконфигуририровать?
четких промежутков нет, есть даже кейсы, когда схлапывание не произойдет в принципе (данные в разных партициях), мы используем щедро присыпав агрегациями типа argMax
источник

AK

Artem Kanaki in ClickHouse не тормозит
Михаил Ш
четких промежутков нет, есть даже кейсы, когда схлапывание не произойдет в принципе (данные в разных партициях), мы используем щедро присыпав агрегациями типа argMax
окей, то есть рабочий вариант это использовать таблицу с дубликатами, и доставать из нее данные в агрегированном виде?
источник

МШ

Михаил Ш in ClickHouse не тормозит
Artem Kanaki
окей, то есть рабочий вариант это использовать таблицу с дубликатами, и доставать из нее данные в агрегированном виде?
у нас используется так, да. т.е. таблица типа test (a UInt32, b UInt32, ver DateTime DEFAULT now()) ENGINE = ReplacingMergeTree(ver) ....
пишем в нее insert into test (1,2) дополняем insert into test (1,12)
выбираем типа select argMax(b,ver) from test where a=1
источник

AK

Artem Kanaki in ClickHouse не тормозит
Михаил Ш
у нас используется так, да. т.е. таблица типа test (a UInt32, b UInt32, ver DateTime DEFAULT now()) ENGINE = ReplacingMergeTree(ver) ....
пишем в нее insert into test (1,2) дополняем insert into test (1,12)
выбираем типа select argMax(b,ver) from test where a=1
понял, спасибо за совет)
источник

MK

Mister K in ClickHouse не тормозит
Привет. Мы с Артемом в одной компании работаем.
источник

MK

Mister K in ClickHouse не тормозит
А выбор сразу много строк с самой свежей версией у вас не практикуется?
источник

DC

Dmitry Che in ClickHouse не тормозит
конечно практикуется, даже "как бы удаление" практикуется
источник

MK

Mister K in ClickHouse не тормозит
Пример, таблица (firstName, lastName, version) и выборка например select * from table limit 20 offset 500

И тут не понятно куда версию засовывать 🙂.

Пока что через final берем.
Может будут какие-то идеи, что с этим делать?
источник