Там на самом деле 0000-00-00

Понял. Спасибо. Да в доке вижу подпись о 0000-00-00

👍

Коллеги, доброго времени, подскажите пожалуйста, версия кх 1.1.54380 , можно ли как-то адекватно удалить из таблы записи с фильрацией по условию?

такой вопрос, есть таблица, в которой около 10 мил. записей, но часть этих записей - не валидны, (разные id при идентичных значениях) как можно перенести только валидные данные в другую таблицу, что бы потом ее уже использовать как основную, при условии, что все валидные id имеются?

Только перелить нужные данные в новую таблицу, а старую удалить

спасибо!

Переливаете нужные данные в новую таблицу, а старую таблицу удаляете. Затем работаете с новой таблицей

я изначально в вопросе указал, что "можно перенести только валидные данные в другую таблицу, что бы потом ее уже использовать как основную", осталось решить - как это сделать лучше, в этом и вопрос.

Insert From Select

ок, спасибо

Есть несколько вариантов, смотря чем определяется валидность данных:

OPTIMIZE DEDUPLICATE (есди PRIMARY KEY это id за исключением ключей партиции)
INSERT SELECT + GROUP BY id
INSERT SELECT + LIMIT 1 BY id
ALTER TABLE DELETE WHERE

валидность тут скорее условная, дело в том, что данные в CH льются из postgresql, но оказалось, что часть данных на постгрес - была физически удалена, и те id что есть в постгрес - валидны, а то, что успело залиться в CH - становится не валидным из за дублирования данных под разными id

надеюсь понятно описал

что делаю сейчас - выгружаю csv с id из постгрес, подключаю файлик как внешние данные и буду заливать в новую таблицу данные по insert into new_table select * from old_table where id in (csv_file)

если есть способ лучше и быстрее - поделитесь

всем привет!
а есть в кх настройка чтоб он сначала загрузил словари а потом уже таблицы при старте кх сервера?

к чему такой вопрос
у нас есть несколько таблиц поля которых заполняются из мускул словарей
до обновления с 19.6.2.11 до 19.17.4.11 всё было нормально, с таким не сталкивались
сейчас же при старте кх сервера получаю ошибку и в цикле кх перезапускается
error: DB::Exception: No such external dictionary 'g_blocks'., stack trace:
0. 0x559a8a58af60 StackTrace::StackTrace() /usr/bin/clickhouse
пример такого поля
   widget_goods_parent UInt32 DEFAULT toUInt32(dictGetInt32OrDefault('tickers_composite_widgets', 'uid', toUInt64(dictGetUInt32OrDefault('tickers_composite_relations', 'parent_tickers_composite_id', toUInt64(dictGetUInt32OrDefault('g_blocks', 'tickers_composite_id', toUInt64(widget_goods), toUInt32(0))), toUInt32(0))), toInt32(0))),

2019.12.03 14:57:29.820554 [ 1 ] {} <Error> Application: DB::Exception: Cannot create object 'widget_clicks_goods' from query ATTACH TABLE widget_clicks_goods
вываливает всю структуру
error: DB::Exception: No such external dictionary 'g_blocks'., stack trace:

когда откатываю на 19.6.2.11 всё загружается

Есть параметр что-то там Dictionary lazy load ?

Вообще словарь должен загрузится как и раньше. Сделайте тикет с полным логом в виде файла, чтобы было видно три попытки загрухки словаря.

Не совсем понял ситуацию, так как, если делать так id IN(), то туда могут попасть одинаковые id, если они есть в файле.

в файле будут уникальные id из PG ибо там это primary Key

Подскажите пожалуйста, апдейт config.xml кушается на лету, или надо рестартовать сервер?

Это понятно. Но если в PG есть id = 1
А в CH есть id = 1, который повторяется 2 раза
То строки с id = 1 так же повторно скопируются, если написать id IN(1)

Возможно я не так понял