EP
Коллеги такой вопрос, есть 500 миллиардов записей в хайве которые на хдфс лежат как orc файлики, насколько адекватный кейс перелить их в Clickhouse?
Size: a a a
2020 January 24
EP
И будет ли деградация по компрессии и выборке?
AZ
Получается он нужен только как документирование процессов?
Да, но на эту «документацию» можно логику навесить, например политики безопасности, мониторинг SLA, или реализацию права на забвение
AZ
Коллеги такой вопрос, есть 500 миллиардов записей в хайве которые на хдфс лежат как orc файлики, насколько адекватный кейс перелить их в Clickhouse?
А зачем?
UD
И будет ли деградация по компрессии и выборке?
Зависит от данных
UD
Залейте кусок, условно гигабайт 200
UD
Если не используете джоины на джойнах в джойнах, он будет в разы быстрее
EP
Если не используете джоины на джойнах в джойнах, он будет в разы быстрее
Спасибо!
AI
Да, но на эту «документацию» можно логику навесить, например политики безопасности, мониторинг SLA, или реализацию права на забвение
Спасибо, понял 👍
2020 January 25
S
Если не используете джоины на джойнах в джойнах, он будет в разы быстрее
Зависит от. Если там фулскан на фулскане, будет медленнее
N
Коллеги такой вопрос, есть 500 миллиардов записей в хайве которые на хдфс лежат как orc файлики, насколько адекватный кейс перелить их в Clickhouse?
Это сколько в гигабайтах ? И сколько у вас памяти на том сервере , где запущен clickhouse и будет ли это КХ сервер один или вы сделаете несколько реплик и будите использовать дистрибьютед таблицы в КХ.
Тут много вопросов. Сколько у вас там таблиц ?
Тут много вопросов. Сколько у вас там таблиц ?
EP
Nikolay
Это сколько в гигабайтах ? И сколько у вас памяти на том сервере , где запущен clickhouse и будет ли это КХ сервер один или вы сделаете несколько реплик и будите использовать дистрибьютед таблицы в КХ.
Тут много вопросов. Сколько у вас там таблиц ?
Тут много вопросов. Сколько у вас там таблиц ?
Речь пока идёт об одной таблице с тройной репликацией. КХ кластер состоит из 3 нод.
EP
По объёмув гб нет данных, но вопрос именно в том что в каком соотношении будет условно 1 данных в формате orc, если их перелить в кликхаус
S
Речь пока идёт об одной таблице с тройной репликацией. КХ кластер состоит из 3 нод.
И сколько там памяти на ноде? И зачем тройная репликация? И какой против этого хадуп?
Попахивает так себе вся история
Попахивает так себе вся история
EP
HDP 2.6.5. То есть нет смысла кидаться использовать КХ? Это же история об аргументах за и против миграции данных с хадупа на КХ (клиент так захотел к примеру)
EP
Мне тут выше отвечали, что по перформансу на выборку КХ лучше, а что насчёт компрессии
S
Мне тут выше отвечали, что по перформансу на выборку КХ лучше, а что насчёт компрессии
Очень аккуратно надо перформанс мерить. Если ты не попал в индекс, то начинается фулскан как на любой базе. И тут ты упираешься в рейд
A
Мне тут выше отвечали, что по перформансу на выборку КХ лучше, а что насчёт компрессии
Посмотрите 2е выступление с этого митапа (сравнение КХ с GP и Hadoop заодно). Возможно будет полезно.
https://www.youtube.com/watch?v=UeSoaiQJHpo
https://www.youtube.com/watch?v=UeSoaiQJHpo
EP
Anton Kovalenko
Посмотрите 2е выступление с этого митапа (сравнение КХ с GP и Hadoop заодно). Возможно будет полезно.
https://www.youtube.com/watch?v=UeSoaiQJHpo
https://www.youtube.com/watch?v=UeSoaiQJHpo
Спасибо!
S
Мне тут выше отвечали, что по перформансу на выборку КХ лучше, а что насчёт компрессии
А компрессия. При стандартной схеме в кликхаусе: рейд на сервере (то есть уже реплика данных х2), а потом еще репликация серверов х2 - даже при сжатии получаем 4 реплики данных. В халупе стандартно х3