"поправили" это только в 19.14

тут ещё 18 версия

Ну я к тому, что скорее всего в предыдущих версиях этот дедлок был.

А строки, которые только на одной из реплик существуют, не в отдельных партах случайно?
Какая версия у вас?

#вакансия #удаленка #dba #clickhouse
ищем крутого dba.  clickhouse или с желанием изучить. зарплата от 180 обсуждаемая. Любой город, можно в офисе(мск сити), если хочется. тк рф, дмс, все дела. ищем активных и целеустремленных :-) по вопросам в лс

21.3
Они криво перемерджены на разных репликах

ну тогда да, вашим планом

доброй ночи!
подскажите пожалуйста, как лучше сделать следующее - есть массив массивов произвольной длинны, его нужно объединить в одномерный массив
[[a], [b], [c, d, e]]  ->  [a, b, c, d,e]

Вот тут есть функция для этого https://clickhouse.tech/docs/ru/sql-reference/functions/array-functions/

arrayFlatten, спасибо!!

:)

Спасибо) к этому моменту уже нашел, а как можно проверить, существуют ли записи в джоин таблице без этой настройки?

на сколько ресурсно затратно alter update строки?

ОЧЕНЬ  затратно
это не UPDATE
это мутации
которые происходят при слиянии партов или самостоятельно триггерят перечитывание всего парта и используют отдельный thread pool

то есть для обновления 1й строки читается и пишется сотни тысяч строк

это имеет смысл и используется только тогда, когда надо в фоне удалить достаточно большое кол-во записей
или когда удалять надо не часто (десятки, максимум сотни запросов в день)

Кстати, давеча сделал апдейт таблички миллиардов на 150 строк (суммарно на 4 шардах) - вышло _очень_ быстро, минут 15-20 наверное. Мускуль бы такое сделал бы примерно никогда.

Добрый день.
Может кто-нибудь сталкивался с проблемой. Уже не знаю куда копать.
Два одинаковых сервера в одной стойке + zookeeper. На один сервер идет чтение и запись (192.168.10.1). На другой - только репликация данных (192.168.10.2). Load average<2 на обоих серверах. Сеть тоже не перегружена.

ClickHouse server version 20.8.3.18.

На 192.168.10.2 возникают несколько раз в день ошибки в логе:

2021.06.12 17:30:16.248490 [ 30922 ] {} <Error> col.logs_geo_traffic: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Excep
tion. Code: 1000, e.code() = 0, e.displayText() = Timeout: connect timed out: 192.168.10.1:9009, Stack trace (when copying this message, always include the lines below):

0. Poco::TimeoutException::TimeoutException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_tra
its<char>, std::__1::allocator<char> > const&, int) @ 0x13cd67fb in /usr/bin/clickhouse
1. ? @ 0xa1a9951 in /usr/bin/clickhouse
2. Poco::Net::HTTPSession::connect(Poco::Net::SocketAddress const&) @ 0x13be6921 in /usr/bin/clickhouse
3. Poco::Net::HTTPClientSession::reconnect() @ 0x13bdd3da in /usr/bin/clickhouse
4. Poco::Net::HTTPClientSession::sendRequest(Poco::Net::HTTPRequest&) @ 0x13bde5a0 in /usr/bin/clickhouse
5. DB::detail::ReadWriteBufferFromHTTPBase<std::__1::shared_ptr<DB::UpdatablePooledSession> >::call(Poco::URI, Poco::Net::HTTPResponse&) @ 0x1105feee in /usr/bin/clickhouse
6. DB::detail::ReadWriteBufferFromHTTPBase<std::__1::shared_ptr<DB::UpdatablePooledSession> >::ReadWriteBufferFromHTTPBase(std::__1::shared_ptr<DB::UpdatablePooledSession>, Poco::URI, s
td::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::function<void (std::__1::basic_ostream<char, std::__1::char_traits<char> >&)>, Poc
o::Net::HTTPBasicCredentials const&, unsigned long, std::__1::vector<std::__1::tuple<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, std::__1::bas
ic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > >, std::__1::allocator<std::__1::tuple<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::alloc
ator<char> >, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > >, DB::RemoteHostFilter const&) @ 0x11060382 in /usr/bin/clickhouse
7. DB::DataPartsExchange::Fetcher::fetchPart(std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocato
r<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::alloc
ator<char> > const&, int, DB::ConnectionTimeouts const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::
__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, std::__1::basic_string<ch
ar, std::__1::char_traits<char>, std::__1::allocator<char> > const&) @ 0x1105a30f in /usr/bin/clickhouse
8. ? @ 0x10f9d1de in /usr/bin/clickhouse
9. DB::StorageReplicatedMergeTree::fetchPart(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::shared_ptr<DB::StorageInMemoryMetada
ta const> const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, unsigned long, std::__1::shared_ptr<zkutil::ZooKeeper>) @ 0x10fe52e
1 in /usr/bin/clickhouse
10. DB::StorageReplicatedMergeTree::executeFetch(DB::ReplicatedMergeTreeLogEntry&) @ 0x10fe75a4 in /usr/bin/clickhouse
11. DB::StorageReplicatedMergeTree::executeLogEntry(DB::ReplicatedMergeTreeLogEntry&) @ 0x10fe9951 in /usr/bin/clickhouse
12. ? @ 0x10fe9cca in /usr/bin/clickhouse

13. DB::ReplicatedMergeTreeQueue::processEntry(std::__1::function<std::__1::shared_ptr<zkutil::ZooKeeper> ()>, std::__1::shared_ptr<DB::ReplicatedMergeTreeLogEntry>&, std::__1::function
<bool (std::__1::shared_ptr<DB::ReplicatedMergeTreeLogEntry>&)>) @ 0x111ba57e in /usr/bin/clickhouse
14. DB::StorageReplicatedMergeTree::queueTask() @ 0x10f9ea57 in /usr/bin/clickhouse
15. DB::BackgroundProcessingPool::workLoopFunc() @ 0x11055b0f in /usr/bin/clickhouse
16. ? @ 0x110563ef in /usr/bin/clickhouse
17. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0xa43cc4d in /usr/bin/clickhouse
18. ? @ 0xa43b3ff in /usr/bin/clickhouse
19. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
20. clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
 (version 20.8.3.18)

В ошибке непонятно какая величина таймаута была превышена.

Судя по порту - это параметр <interserver_http_port>9009</interserver_http_port>, т.е. межсерверный обмен.
Судя по коду (https://github.com/ClickHouse/ClickHouse/blob/20.8/programs/server/Server.cpp#L951) таймауты задаются в settings.http_receive_timeout и settings.http_send_timeout.
Если я правильно понял, то в config.xml задается <system_profile>default</system_profile>, а в users.xml в профиле default - задаются эти параметры. Сейчас они стоят 3600 секунд.

Что может быть не так?

Добрый день! Столкнулся с такой проблемой, не могу запустить кликхаус, в логах ошибки нет как и надписи shutdown, при записи ps -ef|grep clickhouse, процессы отсутствуют. Последние логи: 2021.06.13 07:30:24.130366 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013624 is not done yet because 7672 parts to mutate suddenly appeared.
2021.06.13 07:30:24.131575 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013625 is not done yet because 7673 parts to mutate suddenly appeared.
2021.06.13 07:30:24.132782 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013626 is not done yet because 7673 parts to mutate suddenly appeared.
2021.06.13 07:30:24.133993 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013627 is not done yet because 7674 parts to mutate suddenly appeared.
2021.06.13 07:30:24.135242 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013628 is not done yet because 7674 parts to mutate suddenly appeared.
2021.06.13 07:30:24.136465 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013629 is not done yet because 7675 parts to mutate suddenly appeared.
2021.06.13 07:30:24.137675 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013630 is not done yet because 7675 parts to mutate suddenly appeared.
2021.06.13 07:30:24.138888 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013631 is not done yet because 7676 parts to mutate suddenly appeared.
2021.06.13 07:30:24.140100 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013632 is not done yet because 7676 parts to mutate suddenly appeared.
2021.06.13 07:30:24.141317 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013633 is not done yet because 7677 parts to mutate suddenly appeared.
2021.06.13 07:30:24.142527 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013634 is not done yet because 7677 parts to mutate suddenly appeared.
2021.06.13 07:30:24.143752 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013635 is not done yet because 7678 parts to mutate suddenly appeared.
2021.06.13 07:30:24.144967 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013636 is not done yet because 7678 parts to mutate suddenly appeared.
2021.06.13 07:30:24.146180 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013637 is not done yet because 7679 parts to mutate suddenly appeared.
2021.06.13 07:30:24.147395 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013638 is not done yet because 7679 parts to mutate suddenly appeared.
2021.06.13 07:30:24.148605 [ 3814 ] {} <Trace>  (ReplicatedMergeTreeQueue): Mutation 0000013639 is not done yet because 7680 parts to mutate suddenly appeared.