Size: a a a

ClickHouse не тормозит

2019 December 06

UL

Umberto Lopes in ClickHouse не тормозит
Закончилось место для смонтированной директории. Там тестовый сервер.  Спасибо за пояснение!
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Николай Моисеенко
подскажите плз, как можно посмотреть, что в данный момент грузит CH?
достаточно легкие запросы по  несколько секунд выполняться начали.
SELECT * FROM system.processes - возвращает только мой запрос
Такое может быть, если в партиции слишком много партов. Попробуйте  сделать optimize или посмотрите сколько их.
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
Artemeey Gavryushin
Такое может быть, если в партиции слишком много партов. Попробуйте  сделать optimize или посмотрите сколько их.
а где это можно посмотреть? не подскажете?
источник

S

Shazo in ClickHouse не тормозит
на каждую вставку создается парт в партиции. По query_log можно попровать определить что происходит с запросов, куда он лазит.

по таблице system.parts можно найти все парты по таблице.
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
select count() from(
SELECT * FROM system.parts);
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
это много или не очень?
источник

S

Shazo in ClickHouse не тормозит
это по всем вашим таблицам. Хз сколько их. Для 6 таблиц много на вскидку
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
таблиц 16
источник

S

Shazo in ClickHouse не тормозит
Николай Моисеенко
select count() from(
SELECT * FROM system.parts);
добавьте в условие where active, чтобы только активные парты. сгрупируйте по таблицам
источник

В

Вадим in ClickHouse не тормозит
Ребят, а есть у кого нибудь опыт импортирования avro файлов в clickhouse?
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
select count() from(
SELECT * FROM system.parts where active);
2519
источник

S

Shazo in ClickHouse не тормозит
под рукой такой есть запрос, тут есть лишняя инфа , но лень править

SELECT
   database,
   table,
   count() AS count_parts,
   sum(rows) AS s_rows,
   sum(marks) AS s_marks,
   formatReadableSize(sum(marks_bytes)) AS s_marks_bytes,
   formatReadableSize(sum(primary_key_bytes_in_memory)) AS s_pri_key_in_mem,
   formatReadableSize(sum(primary_key_bytes_in_memory_allocated)) AS s_pri_key_in_alloc,
   formatReadableSize(sum(data_compressed_bytes)) AS s_compr_bytes,
   formatReadableSize(sum(data_uncompressed_bytes)) AS s_uncompr_bytes
FROM system.parts
WHERE active
GROUP BY
   database,
   table
ORDER BY s_rows ASC
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
источник

S

Shazo in ClickHouse не тормозит
Банально по top серваки не нагружены? Мы не видем вашу систему, а из показаний только что "стали запросы медленно'.

Информация о том что происходит есть в query_log и system.merges, ну и упомянутом show processlist;
источник

НМ

Николай Моисеенко... in ClickHouse не тормозит
в любом случае - спасибо, направление получено
а по htop сервака... гм... там просадка невозможна практически, очень большой запас
источник

AM

Anton Mikhalev in ClickHouse не тормозит
Anton Mikhalev
Всем привет! Ловлю такую вот ошибку:
DB::Exception: Missing columns: '--i.url_hash' while processing query

Есть идеи?
в продолжению к этой истории. попробовал убрать алиас i, т.к это основная таблица к которой  джоинятся все остальные.  В итоге получаю уже такую ошибку:

DB::Exception: Cannot refer column 'pictures.url_hash' to table.


при этом
SELECT pictures.url_hash FROM item_distributed
всё также прекрасно выполняется
источник

AM

Anton Mikhalev in ClickHouse не тормозит
я так понимаю у меня выход только создавать issue)
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Anton Mikhalev
в продолжению к этой истории. попробовал убрать алиас i, т.к это основная таблица к которой  джоинятся все остальные.  В итоге получаю уже такую ошибку:

DB::Exception: Cannot refer column 'pictures.url_hash' to table.


при этом
SELECT pictures.url_hash FROM item_distributed
всё также прекрасно выполняется
В запросе есть звёздочки?

Или есть ли таблица, используемая в двух join или where одновременно?
источник

O

Oleg in ClickHouse не тормозит
если не указывать PARTITION BY то партиционирования не будет или оно будет какое-то произвольное?
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Ещё стоит проверить что имя url hash используется один раз.

Замечены ошибки, если дублируются  alias столбцов
источник