В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

5488 membersпожаловаться на группу
2021 July 01

T

Tatiana in ClickHouse не тормозит
смержилось, видимо
при инсерте чексумма блока сохраняется, и последующие блоки с той же чексуммой отбрасываются
ищите, почему у вас блоки одинаковые
источник
19:53пожаловаться#1

AR

Alex Ryndin in ClickHouse не тормозит
если мутация удаляет данные, и затем вставляется такой же кусок данных, он отбросится?
источник
19:54пожаловаться#2

T

Tatiana in ClickHouse не тормозит
да
источник
19:54пожаловаться#3

AR

Alex Ryndin in ClickHouse не тормозит
спасибо. а можно ли сделать чтобы мутация как-то более основательно "забывала" о блоках?
чексуммы чтобы тёрлись и т.д.
источник
19:55пожаловаться#4

T

Tatiana in ClickHouse не тормозит
мутация же не блоки удаляет, а строки
откуда ей знать
источник
19:55пожаловаться#5

AR

Alex Ryndin in ClickHouse не тормозит
но если удаляются строки, то должна пересчитыватсься чексумма?
блок же меняется
источник
19:56пожаловаться#6

T

Tatiana in ClickHouse не тормозит
drop partition удаляет чексуммы
источник
19:56пожаловаться#7

T

Tatiana in ClickHouse не тормозит
нет
дедупликация для идемпотентных инсертов сделана, а не для контроля данных в таблице
источник
19:57пожаловаться#8

T

Tatiana in ClickHouse не тормозит
можно отключить дедупликацию
источник
19:57пожаловаться#9

T

Tatiana in ClickHouse не тормозит
set insert_deduplicate=0
источник
19:58пожаловаться#10

AR

Alex Ryndin in ClickHouse не тормозит
понял, благодарю.
источник
19:59пожаловаться#11

SC

Sergey Churin in ClickHouse не тормозит
Слишком жирные блоки final обрабатывает. Попробуйте в конец запроса дописать что-то типа settings max_block_size=1000, max_threads=2.
А если колонки status или approve_at есть в order by таблицы, то пропишите условия для них в prewhere а не where. Или даже если нет в order by, но вы точно знаете, что оно не может по final схлопнутся с данными, не попадающими под фильтр.
источник
20:07пожаловаться#12

ИМ

Илья Максимов... in ClickHouse не тормозит
Решения лучше, чем почистить всю таблицу я не нашел, поэтому выполнил TRUNCATE, но даже так вывалилась ошибка
Code: 233. DB::Exception: Received from ch2.avs.infrapu.sh:9000. DB::Exception: Unexpected part name: 202106_4155_4155_0_0_5_999999999

В итоге дропнул таблицу полностью со всех реплик и создал заново. Ошибки пропали
источник
20:09пожаловаться#13

AR

Alex Ryndin in ClickHouse не тормозит
вот что обнаружил
если брать блок определённого размера, то после мутации он может как заигнориться, так и вставиться
проверил поведение несколько раз
источник
20:15пожаловаться#14

T

Tatiana in ClickHouse не тормозит
скорее всего блоки чуть-чуть разные
вы проверили, что чексумма одинаковая получается?
источник
21:10пожаловаться#15

AR

Alex Ryndin in ClickHouse не тормозит
1. Как я могу проверить чек сумму?
2. Может ли блок быть разным если вставка производится из одного и того же файла?
источник
21:11пожаловаться#16

T

Tatiana in ClickHouse не тормозит
1. в Зукипере (у вас реплицированная таблица?)
2. Зависит от атомарности инсерта из того файла
источник
21:12пожаловаться#17

AR

Alex Ryndin in ClickHouse не тормозит
1. Реплицированная
2. Одна крупная вставка. В логах отсвечивает одно и то же количество строк
источник
21:14пожаловаться#18

T

Tatiana in ClickHouse не тормозит
И парт один получается?
источник
21:15пожаловаться#19

T

Tatiana in ClickHouse не тормозит
Смотрите в Зукипер, там все блоки записаны
источник
21:15пожаловаться#20