YI
полагаю, тут рейндж зависит от того, как мы отхешируем наши pk (которые, все еще, будут уникальны, полагаю, т.к. забираем с реляционного источника)
Size: a a a
2021 October 05
YI
Въехал, понял, спасибо!
ЕГ
Ренж колонка просто будет 1, 2, 3, .., N
ЕГ
В бакетировании
ЕГ
А вот в рэнж партишининге все ключи просто сортируются, и ищутся границы партиций, от какого до какого ключа взять данные, чтобы было равномерно
ЕГ
Поэтому он в 2 прохода работает
YI
Т.е. пройтись и определить границы, а затем разбить на партиции, границы которых мы уже знаем, если правильно понял
ЕГ
Да
ЕГ
Ну там семплирование и всё такое, один фиг долго работает
YI
далее можно параллелить вплоть по кол-во нод = кол-во партиций, получается
ЕГ
Да
ЕГ
И потом с такой структурой можно range запросы как раз мутить
YI
Однако, для такого вычисления дельт, нам нужно взять "все данные источника", а также "все текущие, уже сохраненные в целевой структуре, данные". И вышеописанную операцию (рассчет хешей и бакетирование) проделывать для обоих наборов. Либо хранить уже посчитанную таблицу хешей для целевой таблицы и обновлять ее после кажой итерации рассчета и заливки дельт.
C
AP
Посоветуйте фундаментальный труд по дата инженирингу/аналитике? Нужны не конкретные технологии, а что-то вроде философии, основных идей, подходов и т.п. Для меня эта область немного новая, а так я не новичек ни разу.
D
Высоконагруженные приложения. Программирование масштабирование поддержка | Клеппман Мартин держите, олучше нету
D
это по DE
AP
Это более архитектура, чем домен.
AP
Интересно именно “доменное” знание, понимание и т.п. А так DDIA я конечно читал.
D
ну все знаете значит