S
пересоздание подразумевает удаление таблицы то есть какой то простой а это не айс
Если нет возможности обеспечить период обслуживания, то да alter на distributed
Size: a a a
2019 December 03
PВ
Если нет возможности обеспечить период обслуживания, то да alter на distributed
Раньше альтера не было на дистрибьютед, завтра проверю
S
Раньше альтера не было на дистрибьютед, завтра проверю
Не знаю насколько стара ваша версия, но с 18.14 есть
ФЧ
Как то можно в arraymap передать countif?
PВ
Не знаю насколько стара ваша версия, но с 18.14 есть
Спасибо, недавно обновился до последней
S
всем привет, видел тут уже кто-то боролся с ошибкой
и у них был доступ к CH серверу, а у меня нет доступа, что можно сделать, без доступа к серверу? заливаю файлы так
в файлах примерно 50к-70к строк, новые файлы появляются каждую минуту
DB::Exception: Too many parts (316). Merges are processing significantly slower than inserts..
и у них был доступ к CH серверу, а у меня нет доступа, что можно сделать, без доступа к серверу? заливаю файлы так
cat $file | clickhouse-client --host $host --user $user --password=$password --query="INSERT INTO table.daily(\
EventDate,EventTime,Name,Node,Country,Url,Delay,Code,Error,Price,Cur,Img,ImgRich,Title,Winner,Domain\
) FORMAT TabSeparated"
в файлах примерно 50к-70к строк, новые файлы появляются каждую минуту
Важно в первую очередь как часто вы делаете инсерт, во сколько одновременно партиций.
На каждую партицию каждой вставки создается парт. У вас их много генерится и кх не успевает мерджить.
На каждую партицию каждой вставки создается парт. У вас их много генерится и кх не успевает мерджить.
DC
Раньше альтера не было на дистрибьютед, завтра проверю
всегда был alter на дистрибьютед, с самой первой версии
PВ
всегда был alter на дистрибьютед, с самой первой версии
И можно было добавить колонку разве? У меня в памяти сидит мысль что я читал документацию и там было только пересоздание для дистрибьютед для добавления колонки
DC
И можно было добавить колонку разве? У меня в памяти сидит мысль что я читал документацию и там было только пересоздание для дистрибьютед для добавления колонки
можно было
DC
у countIf один аргумент
A
Важно в первую очередь как часто вы делаете инсерт, во сколько одновременно партиций.
На каждую партицию каждой вставки создается парт. У вас их много генерится и кх не успевает мерджить.
На каждую партицию каждой вставки создается парт. У вас их много генерится и кх не успевает мерджить.
insert делается примерно раз в минуту на каждый файл с 70к строк
S
insert делается примерно раз в минуту на каждый файл с 70к строк
Ключ партиционирования в таблице какой? Может инсерт один на файл, но при этом там ключ партиционирования по странам и вставка порождает инсерт * число стран.
ФЧ
у countIf один аргумент
Ты путаешь.
ФЧ
A
Ключ партиционирования в таблице какой? Может инсерт один на файл, но при этом там ключ партиционирования по странам и вставка порождает инсерт * число стран.
таблица была создана так
я глянул
CREATE TABLE table.daily ( EventDate Date, EventTime DateTime, Name String, Node String, Country String, Url String, Delay Int32, Code Int32, Error String, Price Float64, Cur String, Img String, ImgRich String, Title String, Winner Int8, Domain String) ENGINE = Distributed('cluster', buffer, daily, rand())я глянул
SELECT partition, name, table FROM system.parts WHERE active
┌─partition─┬─name────────────────────────┬─table────────────┐
| 20191203 │ 20191203_21864_21892_2 │ daily │
│ 20191203 │ 20191203_21893_21899_1 │ daily │
│ 20191203 │ 20191203_21900_21907_1 │ daily │
DC
Ты путаешь.
ясно, ну да фигню какую-то пытаетесь сделать
DC
ясно, ну да фигню какую-то пытаетесь сделать
arraySum(i-> i > 10), или arrayFilter
ФЧ
А ну да точно
ФЧ
Спасибо