Size: a a a

ClickHouse не тормозит

2019 December 06

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikolay
А точно по всем колонкам сравнивает  а не по примари ключу ?
create table D (A Int64, B Int64) Engine=MergeTree() order by tuple();

insert into D values(1,1), (1,1);
optimize table D deduplicate;

SELECT *
FROM D

┌─A─┬─B─┐
│ 1 │ 1 │
│ 1 │ 1 │
└───┴───┘

optimize table D final deduplicate;

SELECT *
FROM D

┌─A─┬─B─┐
│ 1 │ 1 │
└───┴───┘
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
create table D (A Int64, B Int64) Engine=MergeTree() order by tuple();

insert into D values(1,1);
insert into D values(1,1);

optimize table D deduplicate;   <--------------

SELECT *
FROM D

┌─A─┬─B─┐
│ 1 │ 1 │
└───┴───┘
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
В первом случае дубли в одном парте. Парт один. optimize без final ничего не делает.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
deduplicate -- имеет смысл только для MergeTree. У остальных движков схлапывание по первичному ключу.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Relan
Подскажите как правильно удалить шарж и перенести данные на другие?
1. Alter table Freeze
2. rsync shadow на другой / другие в папку detached
3. drop table
4. на других шардах в папке detached
let i=1;for f in `ls -1` ; do echo $i $f;((i++)); echo "alter table XXXX attach part '$f';"|clickhouse-client ; done
источник

G

GithubReleases in ClickHouse не тормозит
yandex/ClickHouse tagged: v19.17.5.18-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v19.17.5.18-stable
Release notes:
v19.17.5.18-stable
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Подскажите, пожалуйста, является ли нормальной практикой реплейсить партиции из таблицы т2 в таблицу т1, во время выполнения долгих селектов из т1 по этим же партициям? Движок мержтри.
источник

KK

Kostya Kakunin in ClickHouse не тормозит
кто подскажет
источник

KK

Kostya Kakunin in ClickHouse не тормозит
2019.12.06 18:48:04.069324 [ 7 ] {} <Error> bool DB::{anonymous}::checkPermissionsImpl(): Code: 412, e.displayText() = DB::Exception: Can't receive Netlink response: error -2, Stack trace:

0. 0x55e8a3d58f60 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x55e8a3d58d35 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x55e8a389fa6b ? /usr/bin/clickhouse
3. 0x55e8a3d70668 DB::TaskStatsInfoGetter::TaskStatsInfoGetter() /usr/bin/clickhouse
4. 0x55e8a3d707e9 DB::TaskStatsInfoGetter::checkPermissions() /usr/bin/clickhouse
5. 0x55e8a3d5febb DB::ThreadStatus::initPerformanceCounters() /usr/bin/clickhouse
6. 0x55e8a7227288 DB::ThreadStatus::initializeQuery() /usr/bin/clickhouse
источник

KK

Kostya Kakunin in ClickHouse не тормозит
гугление ничего не дало
источник

KK

Kostya Kakunin in ClickHouse не тормозит
запускаю как демон штатно
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Rad
Здравствуйте, подскажите пожалуйста, может кто-то сталкивался , при загрузке данных через пару минут возникает ошибка
 <Error> bool DB::{anonymous}::checkPermissionsImpl(): Code: 412, e.displayText() = DB::Exception: Can't receive Netlink response: error -2, Stack trace:

Есть подозрение что упираюсь в некоторые лимиты системы , т.к. запускаю внутри lxc контейнера, но в какие не могу понять. ( max open files поднял )
привет, как решил ошибку свою с 412 кодом, помоги. плиз
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kostya Kakunin
2019.12.06 18:48:04.069324 [ 7 ] {} <Error> bool DB::{anonymous}::checkPermissionsImpl(): Code: 412, e.displayText() = DB::Exception: Can't receive Netlink response: error -2, Stack trace:

0. 0x55e8a3d58f60 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x55e8a3d58d35 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x55e8a389fa6b ? /usr/bin/clickhouse
3. 0x55e8a3d70668 DB::TaskStatsInfoGetter::TaskStatsInfoGetter() /usr/bin/clickhouse
4. 0x55e8a3d707e9 DB::TaskStatsInfoGetter::checkPermissions() /usr/bin/clickhouse
5. 0x55e8a3d5febb DB::ThreadStatus::initPerformanceCounters() /usr/bin/clickhouse
6. 0x55e8a7227288 DB::ThreadStatus::initializeQuery() /usr/bin/clickhouse
контейнер? LXC ? docker ? WSL ?
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
контейнер? LXC ? docker ? WSL ?
просто север CentOS без докера — как сервис демона и все — один сервер, без класера — накатил свежак и еще не успел нормально поработать залил 10 строк в одну таблицу через ява код и все. И уиедел косяк это, но так то база работает но стал смотреть логи так как линк с посгрес базой не смог сделать через линкованную таблицу jdbc моста
источник

KK

Kostya Kakunin in ClickHouse не тормозит
вот лог
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kostya Kakunin
просто север CentOS без докера — как сервис демона и все — один сервер, без класера — накатил свежак и еще не успел нормально поработать залил 10 строк в одну таблицу через ява код и все. И уиедел косяк это, но так то база работает но стал смотреть логи так как линк с посгрес базой не смог сделать через линкованную таблицу jdbc моста
в любой непонятной ситуации, возьмите полотенце, и отключите SELinux
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в любой непонятной ситуации, возьмите полотенце, и отключите SELinux
ладно спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kostya Kakunin
ладно спасибо
я не шучу.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Я однажды два дня убил разбираясь что за бред происходит. Оказалось SELinux
источник

KK

Kostya Kakunin in ClickHouse не тормозит
ок
источник