Size: a a a

ClickHouse не тормозит

2019 December 09

KK

Kostya Kakunin in ClickHouse не тормозит
на простых данных да прокатит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Макс Юю
вот рабочее  решение для того чтоб перелить данные из postgres в clickhouse
// получение данных из pcs->mailing в формате csv
psql -U postgres -d db -h host.ru -p 5432 -c "COPY (SELECT id, num FROM user) TO STDOUT With CSV DELIMITER ',';" > us.csv

// создаем таблицу
clickhouse-client -h host.ru  --query="CREATE TABLE IF NOT EXISTS test.user (id int, num int) ENGINE = MergeTree() ORDER BY (id)"

// записываем данные в таблицу
clickhouse-client -h host.ru  --format_csv_delimiter="," --query="INSERT INTO test.user FORMAT CSV" < us.csv
лучше добавлять кавычки " иначе могут быть проблемы, КХ пытается угадать какие кавычки используются ' или " и будет падение при первой же одинарной кавычке вначале текстового поля.

COPY (select * from crash_test) TO PROGRAM 'clickhouse-client --query="INSERT INTO crash_test FORMAT CSV"' with csv force quote *;

или выключать одинарные кавычки в CH --format_csv_allow_single_quotes 0
источник

AP

Alexey Panfilov in ClickHouse не тормозит
Привет, подскажите пожалуйста, кто делал словари в mdb Clickhouse на Яндекс.Облаке?
источник

IK

Ivan Kush in ClickHouse не тормозит
не подскажете, пжт, как указать разделитель при сохранении в  CSV? Вместо запятой, чтобы был другой символ?
INTO OUTFILE '/tmp/gg.txt' FORMAT CSV .....?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ivan Kush
не подскажете, пжт, как указать разделитель при сохранении в  CSV? Вместо запятой, чтобы был другой символ?
INTO OUTFILE '/tmp/gg.txt' FORMAT CSV .....?
clickhouse-client --format_csv_delimiter '|'

select 1,1 into outfile '/tmp/gg.txt' format CSV

cat /tmp/gg.txt
1|1
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
отцы, а что стоит использовать как дополнение к сабжу для realtime аггрегации и поиска данных, скажем, для небольшой глубины по времени (день-два максимум)?
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
я ведь правильно понимаю, что в CH этого лучше не делать, по крайней мере постоянно и достаточно часто?
источник

KK

Kostya Kakunin in ClickHouse не тормозит
Ivan Kush
не подскажете, пжт, как указать разделитель при сохранении в  CSV? Вместо запятой, чтобы был другой символ?
INTO OUTFILE '/tmp/gg.txt' FORMAT CSV .....?
если на чистом sql то в режиме сессии "SET format_csv_delimiter = ','"
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vsevolod Stakhov
отцы, а что стоит использовать как дополнение к сабжу для realtime аггрегации и поиска данных, скажем, для небольшой глубины по времени (день-два максимум)?
хороший вопрос в том смысле что КХ это такая штука которая делает агрегацию лучше всех.

У ва данные за два дня поместятся в ОЗУ ?
источник

МЮ

Макс Юю in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
лучше добавлять кавычки " иначе могут быть проблемы, КХ пытается угадать какие кавычки используются ' или " и будет падение при первой же одинарной кавычке вначале текстового поля.

COPY (select * from crash_test) TO PROGRAM 'clickhouse-client --query="INSERT INTO crash_test FORMAT CSV"' with csv force quote *;

или выключать одинарные кавычки в CH --format_csv_allow_single_quotes 0
спасибо я учту
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
ну, я предложил нашим делать агрегацию в redis на zlists
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
но мб есть какое-то де-факто решение (вот я думал про ES, например)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vsevolod Stakhov
ну, я предложил нашим делать агрегацию в redis на zlists
видимо вы что-то другое понимаете под словом аггрегация
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
count, group by и ряд условий срабатывания
источник

AM

Anton Mikhalev in ClickHouse не тормозит
Всем привет! С чем может быть связана такая ошибка:

inflate failed: buffer error                                                                         
IN:INSERT INTO gmc_item_distributed ( gmc_id,item_id,country_code,label_code,updated_at,flag ) FORMAT TabSeparated
                                                                                     
Возникает при попытке загрузить файлик ~10мб 300к строк. в другие таблицы всё грузится нормально
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vsevolod Stakhov
count, group by и ряд условий срабатывания
посмотрите на движки SummingMT / AggregatingMT и materialized view. КХ уделает всех в разы.
источник

П

Павел Максимов... in ClickHouse не тормозит
Подскажите пожалуйста, в чем причична такой ошики и как исправить:
Code: 24, e.displayText() = DB::Exception: Cannot write to ostream at offset 2097322
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
посмотрите на движки SummingMT / AggregatingMT и materialized view. КХ уделает всех в разы.
то есть, вместо отдельных запросов создавать view с нужными свойствами?
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Павел Максимов
Подскажите пожалуйста, в чем причична такой ошики и как исправить:
Code: 24, e.displayText() = DB::Exception: Cannot write to ostream at offset 2097322
Возможно, что клиент закрыл соединение до того как сервер успел ответить.
источник

VS

Vsevolod Stakhov in ClickHouse не тормозит
просто это все еще объединено в distributed
источник