Телеграмм чат группы clickhouse_ru страница 5874

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3886 membersпожаловаться на группу

2019 November 24

A

Alex in ClickHouse не тормозит

1 - спасибо, попробую
2 - большая часть запросов к этой таблице учитывают как раз те колонки, которые в ORDER BY, но в целом - какие порекомендовали бы выбросить или поменять местами?

источник

14:41пожаловаться #1

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит

1 - спасибо, попробую
2 - большая часть запросов к этой таблице учитывают как раз те колонки, которые в ORDER BY, но в целом - какие порекомендовали бы выбросить или поменять местами?

Если прям все надо и основные запросы прям ложатся на такое - пусть будет. И да, возможно сортировка до КХ не поможет, если вы вставляете из спарка в КХ в несколько потоков

источник

14:42пожаловаться #2

A

Alex in ClickHouse не тормозит

отсортируем каждый поток, вдруг поможет 🙂 крутились вокруг того, чтобы запись сделать как можно быстрее, используя все вычислительные ресурсы кластера

источник

14:45пожаловаться #3

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит

отсортируем каждый поток, вдруг поможет 🙂 крутились вокруг того, чтобы запись сделать как можно быстрее, используя все вычислительные ресурсы кластера

Так и нужно, просто не стоит вставлять в разнобой партиций в одну таблицу

источник

14:48пожаловаться #4

DG

Dmitriy Govorukhin in ClickHouse не тормозит

Всем привет, вопрос про партиционирование в ch, помню что видел где то рекомендацию не создавать больше 10к партиций на сервер. Вопрос, с чем это связано?

источник

15:01пожаловаться #5

I

Ilya K. in ClickHouse не тормозит

Clickhouse создает 2 файла на каждую партицию в колонке. 10к партиций это минимум 20к * кол-во столбцов файлов на файловой системе

источник

15:04пожаловаться #6

A

Andrey in ClickHouse не тормозит

Dmitriy Govorukhin

Всем привет, вопрос про партиционирование в ch, помню что видел где то рекомендацию не создавать больше 10к партиций на сервер. Вопрос, с чем это связано?

Каждая партиция это каталог с файлами. Диск заерзаете

источник

15:04пожаловаться #7

А

А in ClickHouse не тормозит

Dmitriy Govorukhin

Всем привет, вопрос про партиционирование в ch, помню что видел где то рекомендацию не создавать больше 10к партиций на сервер. Вопрос, с чем это связано?

С тем что каждая партиция отдельный файл и чтобы их читать нужно дофига ресурсов. Попробуйте открыть в проводника папку с таким количеством файлов и еще из нескольких из них начать читать параллельно

источник

15:05пожаловаться #8

DG

Dmitriy Govorukhin in ClickHouse не тормозит

Да я это понимаю)
1. Могу поставить ssd, он хорошо умеет читать параллельно.
2. Могу увеличить количество дисков, и размазать партиции по ним, тем самым увеличить максимальное число партиции народу
3. Могу поставить RAID

источник

15:08пожаловаться #9

DG

Dmitriy Govorukhin in ClickHouse не тормозит

Все верно?

источник

15:08пожаловаться #10

I

Ilya K. in ClickHouse не тормозит

у меня сейчас по 300к партов на серверах, вроде проблем нет

источник

15:08пожаловаться #11

A

Andrey in ClickHouse не тормозит

у меня сейчас по 300к партов на серверах, вроде проблем нет

партов или партиций?

источник

15:08пожаловаться #12

DG

Dmitriy Govorukhin in ClickHouse не тормозит

Какой размер партиции в среднем?

источник

15:08пожаловаться #13

I

Ilya K. in ClickHouse не тормозит

партов

источник

15:08пожаловаться #14

А

А in ClickHouse не тормозит

Откуда так много?

источник

15:09пожаловаться #15

DG

Dmitriy Govorukhin in ClickHouse не тормозит

Dmitriy Govorukhin

Да я это понимаю)
1. Могу поставить ssd, он хорошо умеет читать параллельно.
2. Могу увеличить количество дисков, и размазать партиции по ним, тем самым увеличить максимальное число партиции народу
3. Могу поставить RAID

В моих рассуждениях есть ошибка? Рекомендация про 10к имеет отношение к 1 hdd?

источник

15:11пожаловаться #16

IE

Ivan EKbfh in ClickHouse не тормозит

Привет!
А тут кто-то пользует кх с кафкой?
Вопрос:
Вы зукипер для КХ разделяете от зукипера для кафки или зависит от нагрузки?

источник

15:11пожаловаться #17

I

Ilya K. in ClickHouse не тормозит

Dmitriy Govorukhin

Какой размер партиции в среднем?

SELECT formatReadableSize(sum(bytes_on_disk) / count())
FROM system.parts

┌─formatReadableSize(divide(sum(bytes_on_disk), count()))─┐
│ 471.10 KiB                                              │
└─────────────────────────────────────────────────────────┘

источник

15:11пожаловаться #18

I

Ilya K. in ClickHouse не тормозит

Привет!
А тут кто-то пользует кх с кафкой?
Вопрос:
Вы зукипер для КХ разделяете от зукипера для кафки или зависит от нагрузки?

зависит от нагрузки, но рекомендуют разделять

источник

15:12пожаловаться #19

DG

Dmitriy Govorukhin in ClickHouse не тормозит

SELECT formatReadableSize(sum(bytes_on_disk) / count())
FROM system.parts

┌─formatReadableSize(divide(sum(bytes_on_disk), count()))─┐
│ 471.10 KiB                                              │
└─────────────────────────────────────────────────────────┘

Супер маленькие, у меня будут по несколько GB

источник

15:12пожаловаться #20