Size: a a a

ClickHouse не тормозит

2019 December 11

MN

Maksim Novikov in ClickHouse не тормозит
подскажите, что-то дополнительное необходимо конфигурировать для настройки автоудаления партиций?
сконфигурировал так, но автоудаление не работает:
`month` Date DEFAULT toDate(date)
TTL month + toIntervalDay(25)


ClickHouse server version 19.16.3 revision 54427
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maksim Novikov
подскажите, что-то дополнительное необходимо конфигурировать для настройки автоудаления партиций?
сконфигурировал так, но автоудаление не работает:
`month` Date DEFAULT toDate(date)
TTL month + toIntervalDay(25)


ClickHouse server version 19.16.3 revision 54427
нужно именно автоудаление партиций? или удаление записей старше 25 дней?  TTL умеет и то и это. Удаляется раз в сутки.
источник

MT

Maks Ti in ClickHouse не тормозит
Maks Ti
Может ли новый clickhouse-copier не работать со старыми версиями кх?

Пользуюсь первый раз, ловлю ошибку. clickhouse-copier v 19.17.5.18
2019.12.11 15:25:19.670784 [ 1 ] {} <Trace> Connection (X.X.X.X:9000): Connected to ClickHouse server version 19.15.2.
2019.12.11 15:25:19.724865 [ 1 ] {} <Error> ClusterCopier: Will retry: Code: 393, e.displayText() = DB::Exception: There is no query, Stack trace:

0. 0x562835c6d690 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x562835c6d465 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x562835989a17 ? /usr/bin/clickhouse
3. 0x562838fbd0f9 DB::Context::getSampleBlockCache[abi:cxx11]() const /usr/bin/clickhouse
4. 0x5628390579ec DB::InterpreterSelectWithUnionQuery::getSampleBlock(std::shared_ptr<DB::IAST> const&, DB::Context const&) /usr/bin/clickhouse
5. 0x562839002685 DB::InterpreterCreateQuery::createTable(DB::ASTCreateQuery&) /usr/bin/clickhouse
6. 0x562839004975 DB::InterpreterCreateQuery::execute() /usr/bin/clickhouse
7. 0x562835db72b4 DB::ClusterCopier::dropAndCreateLocalTable(std::shared_ptr<DB::IAST> const&) /usr/bin/clickhouse
8. 0x562835dc5962 ? /usr/bin/clickhouse
9. 0x562835dc8a98 ? /usr/bin/clickhouse
10. 0x562835dc9bec ? /usr/bin/clickhouse
11. 0x562835dd0f58 DB::ClusterCopier::process(DB::ConnectionTimeouts const&) /usr/bin/clickhouse
12. 0x562835daa734 DB::ClusterCopierApp::mainImpl() /usr/bin/clickhouse
13. 0x562835bb4df2 DB::ClusterCopierApp::main(std::vector<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::allocator<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > > > const&) /usr/bin/clickhouse
14. 0x562839d34e98 Poco::Util::Application::run() /usr/bin/clickhouse
15. 0x562839d4b5de Poco::Util::ServerApplication::run(int, char**) /usr/bin/clickhouse
16. 0x562835da7760 mainEntryClickHouseClusterCopier(int, char**) /usr/bin/clickhouse
17. 0x562835ba9a7d main /usr/bin/clickhouse
18. 0x7f0804880b97 __libc_start_main /lib/x86_64-linux-gnu/libc-2.27.so
19. 0x562835c131ca _start /usr/bin/clickhouse
Проблема решилась. В конфиге с задачей к копиру ссылался на MV. Нужно указывать именно имя таблицы, например '.inner.mv'.

Вообще, если mv создан нормально, то такой проблемы не встретите)
источник

MN

Maksim Novikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нужно именно автоудаление партиций? или удаление записей старше 25 дней?  TTL умеет и то и это. Удаляется раз в сутки.
не принципиально
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maksim Novikov
не принципиально
вот это да (удивление)
источник

MN

Maksim Novikov in ClickHouse не тормозит
мне нужно, чтобы это работало :)
источник

MN

Maksim Novikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вот это да (удивление)
почему это удивительно, в чём разница механизмов?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maksim Novikov
почему это удивительно, в чём разница механизмов?
дроп партиции стоит 0, удаление записей стоит очень дорого.

Дроп партиции сносит партицию целиком, т.е. ждет пока все записи в партиции достигнут over TTL, удаление записей точечно мержем удаляет некорые записи из партиции.
источник

MN

Maksim Novikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
дроп партиции стоит 0, удаление записей стоит очень дорого.

Дроп партиции сносит партицию целиком, т.е. ждет пока все записи в партиции достигнут over TTL, удаление записей точечно мержем удаляет некорые записи из партиции.
тогда удаление партиции нужно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
MergeTree now has an additional option ttl_only_drop_parts
источник

MN

Maksim Novikov in ClickHouse не тормозит
для aggregatingmergetree тоже отработает добавление параметра?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
для все движков семейства
источник

MN

Maksim Novikov in ClickHouse не тормозит
если я правильно понял - параметр влияет только на способ удаления устаревших данных?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
да
источник

MN

Maksim Novikov in ClickHouse не тормозит
как быть с тем, что у меня не работает это автоудаление в принципе?
источник

MN

Maksim Novikov in ClickHouse не тормозит
или я чего-то не понял?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
источник

IP

Ilya Petrov in ClickHouse не тормозит
Vitaliy Zakaznikov
Только последнюю.
Тогда не понимаю чем это отличается от  Materialized view, только тем что оно лишь в памяти хранится?
источник

Е

Егор in ClickHouse не тормозит
Ivan Blinkov
ClickHouse митап в Москве состоится завтра вечером! 11 декабря в 18:30: https://yandex.ru/promo/clickhouse/moscow-december-2019


Также мы сейчас занимаемся приоритезацией задач по дальнейшему улучшению документации ClickHouse и чтобы сделать это правильно, нам нужна обратная связь от вас. Если готовы помочь нам, заполните, пожалуйста, вот эту небольшую форму: https://forms.yandex.ru/surveys/10014882
Добрый День.  К сожалению поздно узнал про данную встерчу.
Материалы с митапа выкладываться будут?
Можно будет как-нибудь их получить, если ты не сотрудник яндекса?
источник

SS

Sergey Stepanov in ClickHouse не тормозит
А есть трансляция?
источник