UR
У вам метаданные где лежат?
Size: a a a
2021 March 01
DZ
UR
ну вот и посмотреть что там есть и попробовать перенести это в pg от другого хайва
DZ
Это очевидный варик. Но хотелось средствами хайва.
Плюс хайв разных версий
Плюс хайв разных версий
A
ну вот и посмотреть что там есть и попробовать перенести это в pg от другого хайва
проблема что структура репозитория там продиктована из orm
причем мэпинг там достаточно странный,
что сильно сказывается на скорости работы самого метастора по мере роста количества таблиц/партиций
структура меняется между версиями,
поэтому и говорилось про порно при переносе
причем мэпинг там достаточно странный,
что сильно сказывается на скорости работы самого метастора по мере роста количества таблиц/партиций
структура меняется между версиями,
поэтому и говорилось про порно при переносе
A
https://community.cloudera.com/t5/Support-Questions/Is-there-a-updated-Hive-1-2-1-Metastore-ER-Diagram/td-p/157027
как-то так
к 3й версии таблиц добавилось
как-то так
к 3й версии таблиц добавилось
NN
проблема что структура репозитория там продиктована из orm
причем мэпинг там достаточно странный,
что сильно сказывается на скорости работы самого метастора по мере роста количества таблиц/партиций
структура меняется между версиями,
поэтому и говорилось про порно при переносе
причем мэпинг там достаточно странный,
что сильно сказывается на скорости работы самого метастора по мере роста количества таблиц/партиций
структура меняется между версиями,
поэтому и говорилось про порно при переносе
Блэт
A
@ExcellentName
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
старый доклад, обратить внимание на 13 страницу с количеством сущностей в базе данных
нет, тикет так и не был замержен =(
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
старый доклад, обратить внимание на 13 страницу с количеством сущностей в базе данных
нет, тикет так и не был замержен =(
A
на 35 слайде количество операций необходимых для get_table и что за оны
NN
@ExcellentName
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
старый доклад, обратить внимание на 13 страницу с количеством сущностей в базе данных
нет, тикет так и не был замержен =(
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
старый доклад, обратить внимание на 13 страницу с количеством сущностей в базе данных
нет, тикет так и не был замержен =(
А кто-то ж рассказывал, что положили хайв метастор в хайв, и получилось хорошо)
A
Ну ты тоже говори
NN
Ну ты тоже говори
В смысле?)
A
Ну как в том старом анекдоте про секс у соседа пенсионера
NN
Ну как в том старом анекдоте про секс у соседа пенсионера
А :)
AZ
Дяди, стыдно такое спрашивать но всё же:
Мы скопировали данные из одного hive warehouse, в другой. Теперь нам надо перенести ддл.
Можно ли тупо делать CREATE TABLE если данные уже лежат, их не удалит?
Если нет, то как проще всего мигрировать мету?
Мы скопировали данные из одного hive warehouse, в другой. Теперь нам надо перенести ддл.
Можно ли тупо делать CREATE TABLE если данные уже лежат, их не удалит?
Если нет, то как проще всего мигрировать мету?
Накатить DDL из гита, перенесённые таблицы объявить как external и влить данные
DZ
тоже был такой вариант, но не смогли оценнить что заафектит
DZ
в целом он рабочий, но мне кажется что то поломаем
AZ
Так вы уже поломали
AZ
Это даст возможность все аккуратно починить
AZ
А кто-то ж рассказывал, что положили хайв метастор в хайв, и получилось хорошо)
Очередная попытка использовать big data там где нужна many data