Size: a a a

ClickHouse не тормозит

2019 December 13

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
juggler и monrun!!!
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
эта позиция работает ровно до тех пор, пока сильно не захочется денег
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Slach
ну если YDB выложат в OpenSource то я поверю что позиция обоснована, все исходники не надо, но вот wal-e, odyssey, tank, allure
яндекс много чего выкладывает
+1 и гугл тоже не все
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
Алексею Яндекс предоставил письменно права на код?
источник

JS

Jury Sergeev in ClickHouse не тормозит
всем доброго дня!
коллеги, взываю к вашему опыту, какая архитектура кластера CH подошла бы под такое:

есть несколько гео-зон, сильно разнесенных географически, оттуда собираются данные, и логично сборщики держать к источникам поближе, ну а дальше получается и ноды CH (или отдельные базы) тоже держать поближе

есть ли смысл делать шарды по геозонам, насколько понимаю - писаться будет быстро, а вот чтение - уже нет, как можно поступить? делать MV на ближнюю к себе ноду? так будет жить, если каналы такие "длинные"

вопрос в чем получается: или база одна и это шарды по геозонам
или баз куча - а дальше если надо ETL и иже с ним,
или кластер и все такое с репликами и прочими штуками
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
я бы как минимум настаивал на отдельном пункте в трудовом договоре (как это есть у меня сейчас с работодателем)
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Vsevolod Stakhov
Алексею Яндекс предоставил письменно права на код?
Пардон, но Вы путаете яишницу и кое что иное. CH был создан в рамках Метрики.
источник

I

Ilya K. in ClickHouse не тормозит
Jury Sergeev
всем доброго дня!
коллеги, взываю к вашему опыту, какая архитектура кластера CH подошла бы под такое:

есть несколько гео-зон, сильно разнесенных географически, оттуда собираются данные, и логично сборщики держать к источникам поближе, ну а дальше получается и ноды CH (или отдельные базы) тоже держать поближе

есть ли смысл делать шарды по геозонам, насколько понимаю - писаться будет быстро, а вот чтение - уже нет, как можно поступить? делать MV на ближнюю к себе ноду? так будет жить, если каналы такие "длинные"

вопрос в чем получается: или база одна и это шарды по геозонам
или баз куча - а дальше если надо ETL и иже с ним,
или кластер и все такое с репликами и прочими штуками
в рамках шарда один сервер ближе к пользователю, другой во второй геозоне
писать в тот, который ближе
читать с того, который ближе
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
Felixoid 🚜🇩🇪
Пардон, но Вы путаете яишницу и кое что иное. CH был создан в рамках Метрики.
и что же я путаю?
источник

JS

Jury Sergeev in ClickHouse не тормозит
Ilya K.
в рамках шарда один сервер ближе к пользователю, другой во второй геозоне
писать в тот, который ближе
читать с того, который ближе
то есть шард один и тот же, но - две реплики, одна ближе к сборщику, а вторая - к потребителю, так?
источник

I

Ilya K. in ClickHouse не тормозит
Jury Sergeev
то есть шард один и тот же, но - две реплики, одна ближе к сборщику, а вторая - к потребителю, так?
да, я бы сделал так
источник

JS

Jury Sergeev in ClickHouse не тормозит
Ilya K.
да, я бы сделал так
а оно так через интернеты нормально будет реплицироваться?
источник

JS

Jury Sergeev in ClickHouse не тормозит
трафик сжимается при реплицировании?
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Vsevolod Stakhov
и что же я путаю?
То, что "была дискуссия, открывать ли исключительно внутренний проект, созданный в процессе исполнения рабочих обязанностей, в opensourсe или нет" против "в рабочее время начал собственный проект", как минимум
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Vsevolod Stakhov
эта позиция работает ровно до тех пор, пока сильно не захочется денег
И это как раз касается "работает, пока..."
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Jury Sergeev
трафик сжимается при реплицировании?
передаются куски партиций, то есть, минимально возможный трафик
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
Felixoid 🚜🇩🇪
То, что "была дискуссия, открывать ли исключительно внутренний проект, созданный в процессе исполнения рабочих обязанностей, в opensourсe или нет" против "в рабочее время начал собственный проект", как минимум
и что в этом принципиально другого?
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Vsevolod Stakhov
и что в этом принципиально другого?
спасибо, я удаляюсь из этой дискуссии
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
впрочем, давайте не будем сильно оффтопить, это все же технический канал
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
да
источник