AZ
Роман
Допустим в location таблица подругому партиционирована
вам что сделать-то надо?
Size: a a a
2020 January 24
Р
Понять как это работает 😊
A
ну она и не подхватит у вас партиции автоматом, с чего вы решили что достаточно указать корневую директорию?
A
поэтому вопрос “Допустим в location таблица подругому партиционирована” некорректен
Р
Например есть таблица А она партиционирована по дате рождения. Делаем на основе нее внешнюю таблицу Б и партиционируем ее например по городам. А что с файлами и папками то будет тогда если это просто линк?
AZ
Роман
Например есть таблица А она партиционирована по дате рождения. Делаем на основе нее внешнюю таблицу Б и партиционируем ее например по городам. А что с файлами и папками то будет тогда если это просто линк?
если данные лежат в директориях по дате рождения вы не можете сделать из них внешнюю таблиц с другой схемой партицирования
Р
А если вообще не партиционирована?
A
тоже не будет
AZ
Роман
А если вообще не партиционирована?
то и внешняя таблица не будет партицирована
A
там же каждую партицию все равно нужно в мету прописывать
A
запрос show partition не лезет на hdfs, а ходит в метадату и говорит какие есть
так что если вы создаете екстернал партиционированную таблицу и не добавили там партиции через ддл,
то оно и не увидит их
так что если вы создаете екстернал партиционированную таблицу и не добавили там партиции через ддл,
то оно и не увидит их
AZ
как вариант можно заставить хайв сам находить партиции, MSCK команда позволяет по шаблону найти партиции в HDFS и добавить их в метастор
A
нет, ну это то можно, но по хорошему это тоже “почини таблицу” и требует внучную запускать
AZ
да, это ручной процесс (ну или в кроне)
AZ
например если у вас второй HDFS где-то сборку, и вы реплицируете данные туда, то для обновления метастора нужно периодически делать msck repair (и соблюдать правила именования директорий партиций, конечно)
Р
Тогда непонятно зачем есть опция создавать партиционированную external table просто указать для hive что считать ее также партиционированной как и исходная?
Р
А если не указать, тогда hive по всем папкам начнет делать фулскан?
AZ
Роман
Тогда непонятно зачем есть опция создавать партиционированную external table просто указать для hive что считать ее также партиционированной как и исходная?
многие создают внешние таблицы в hive без создания до этого managed таблиц, ну и очень удобно иметь эти партиции отдельно от данных, можно ими манипулировать
AZ
Роман
А если не указать, тогда hive по всем папкам начнет делать фулскан?
если не указать директории с партициями (а определение таблицы имеет партиции) то hive будет думать что таблица пустая)
Р
Спасибо, стало понятнее!