N
самому апачу разве что. озоне вон запилили же
Size: a a a
2021 December 03
UD
Озон это такой забавный велосипед
N
ну там вон даже версия не 0.X
N
а целый 1.1
UD
1.2 но пока нет балансировки для с3 гейта например
UD
Вопрос с плотностью хранения тоже открыт
UD
Например сильно хочется взять серваков 100 дисков для архивов
D
привет, подскажите, можно как нибудь узнать реальный размер таблицы в спарке? нужно что бы определить оптимальное количество бакетов для нее
S
в хадупе посмотри
UD
sql
describe formatted table_name;
show tblproperties table_name
-- or
show tblproperties table_ame("rawDataSize")
describe formatted table_name;
show tblproperties table_name
-- or
show tblproperties table_ame("rawDataSize")
UD
Как вариант еще хадуповый класс дернуть :)
t
@erzentd , ты hbase как релицируешь? я сча просто делают тупо снэпшотами hbase shell snapshot и на втором сайте этот снэпшот ресторю
t
при репликации hbase, как добиться такой же репликации для hdfs? ну что б не было ситуации когда hbase отстаёт от hdfs или наоборот
AZ
Никак, у них разные механизмы репликации
t
понимаю, но как-то можно добиться ?
AZ
Вы настраиваете репликацию hbase, а на те директории HDFS которые вам надо реплицировать отдельно включаете снапшоты и с нужной частотой передаёте их в таргет
AZ
Опишите чего вы хотите добиться?
t
отказоустойчивости на уровне цодов, что б при переключении данные были актуальными
t
и не переизобретаю ли я велосипед - синхронизируя jupyter блокнотики через rsync ? сча уже думаю подкрутить inotify , что б при каждом изменений отправлялось на второй сайт
AZ
@krivdathetriewe не ваш коллега?