k
merge исполняется обычным спарком, да. у нас не было кейсов, года нужно было через thriftserver мерж исполнять. но читать из дельта-таблиц и писать "обычные" таблицы обычным партишн-оверварйт-ом можно
Size: a a a
2022 January 30
k
да
D
не обычным спарком, а спарком с загруженной дельта либой. select да, работает, а MERGE, UPDATE, DELETE нет
k
delete тоже работает
k
update / merge через thriftserver не пробовал. хз
k
а delete пробовал, прост какой-то мусор почистить надо было
k
может, это был не delete, а drop table 🤔 уже не помню
GP
ну тоесть по факту это экстеншоны скуля + сурсы читать дельту?
k
да.
D
именно из SQL ? я на 0.6 дельте пробовал последний раз - не работало
GP
спасибо
GP
всегда было интересно, что они там хранят
k
может, это был не delete, а drop table 🤔 уже не помню
PK
Переслано от Артём Глазунов...
2022 January 31
РБ
Зависит от задач и от объема данных.
Графовые базы вычисляют на лету и для нормальной работы потребуют хорошего железа.
Я использовал предрассчитанные показатели, тогда селект по ним достаточно быстро отрабатывает. 8 млрд строк, выполнял на Вертике. Хотел на Спарке обкатать, но пока не добрался. Больше с целью тестирования и отладки тяжелых участков.
Графовые базы вычисляют на лету и для нормальной работы потребуют хорошего железа.
Я использовал предрассчитанные показатели, тогда селект по ним достаточно быстро отрабатывает. 8 млрд строк, выполнял на Вертике. Хотел на Спарке обкатать, но пока не добрался. Больше с целью тестирования и отладки тяжелых участков.
РБ
Впоследствии, при настройке инкремента, выяснилось, что большой объем лучше идет при дозированной обработки батчами, объемом до 170 млн строк. Чтобы объем помещался в оперативу. Кластер довольно слабый, 4 ноды по 264 Гб оперативы.
Но инкремент настраивать муторно.
Но инкремент настраивать муторно.
ИК
Батч - это хорошо, а батч, влезающий в оперативку - лучше))
Понятно, что приходится настраивать под свои задачи и ресурсы
Понятно, что приходится настраивать под свои задачи и ресурсы
РБ
Можно его марку ?
Кстати слышал, часто такая проблема связана с подохшим БП, сам коммутатор часто нормальный.
Кстати слышал, часто такая проблема связана с подохшим БП, сам коммутатор часто нормальный.
Д
Cisco nexsus.
N
ACID таблицы мутирующие на орке. Сторадж хендлеры в другие бд.