Size: a a a

ClickHouse не тормозит

2019 November 26

AG

Artemeey Gavryushin in ClickHouse не тормозит
Добрый день!
Есть ли в CH комнада для быстрого копирования партиции из одной таблицы в другую через SQL команду?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!
Есть ли в CH комнада для быстрого копирования партиции из одной таблицы в другую через SQL команду?
Как минимум есть INSERT INTO... SELECT
источник

D

Denis Goihburg in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!
Есть ли в CH комнада для быстрого копирования партиции из одной таблицы в другую через SQL команду?
Если таблицы реплицированные можно посмотреть на fetch partition
источник

ЕГ

Евгений Гаврилов... in ClickHouse не тормозит
Доброе время суток. Подскажите могу ли я удалить не целую партицию, а только к примеру последние 2 дня?
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!
Есть ли в CH комнада для быстрого копирования партиции из одной таблицы в другую через SQL команду?
Можно через ATTACH PARTITION FROM
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Евгений Гаврилов
Доброе время суток. Подскажите могу ли я удалить не целую партицию, а только к примеру последние 2 дня?
Можно, если в ее имени есть точная дата, т.е. партиционирование происходит по датам.
Иначе через ALTER TABLE DELETE.
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Добрый день. Можно ли писать в одну таблицу в несколько потоков? Т.е., я запущу 10 скриптов, каждый из которых создаст подключение к CH и будут писать в одну и ту же таблицу.
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Евгений Угожаев
Добрый день. Можно ли писать в одну таблицу в несколько потоков? Т.е., я запущу 10 скриптов, каждый из которых создаст подключение к CH и будут писать в одну и ту же таблицу.
Главное не делать много коротких вставок
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Главное не делать много коротких вставок
по 100 000 строк сейчас настроено
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
У пеня, клик в одном месте вставляет по 100-500к строк за раз в 10 потоков, проблем не наблюдаю
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
У пеня, клик в одном месте вставляет по 100-500к строк за раз в 10 потоков, проблем не наблюдаю
т.е., один пишущий поток не блокирует запись от других?
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Нет
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
отлично, а то столкнулся с ситуацией, что буфер на монге наполняется быстрее, чем выгрузка в CH идет
хочу распараллелить буфер и выгрузку
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Там файлы у меня, в них csv, скрипт берет оттуда некоторые поля, обогащает немного и вставляет в скрипт за один запрос. И все это в 10 потоков
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Евгений Угожаев
отлично, а то столкнулся с ситуацией, что буфер на монге наполняется быстрее, чем выгрузка в CH идет
хочу распараллелить буфер и выгрузку
Хм, а это странно. Клик оптимизирован для того, чтобы как можно быстрее проглотить как можно больше данных
источник

N

Nikolay in ClickHouse не тормозит
Какая у вас скорость записи в мегабайтах в секунду ?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Хм, а это странно. Клик оптимизирован для того, чтобы как можно быстрее проглотить как можно больше данных
запись не проходит мгновенно и удаление из монги тоже
источник

N

Nikolay in ClickHouse не тормозит
Посмотрите через iostat
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Nikolay
Какая у вас скорость записи в мегабайтах в секунду ?
это сетевые запросы, буфер и CH на разных серверах
источник

N

Nikolay in ClickHouse не тормозит
А по сети какой спроупут получается добиться ?
источник