K
но таблица при этом партицированна условно по dt , location,platform и прочим радостям.
Size: a a a
2019 May 24
AP
Dynamic partitions ON ?
R
но таблица при этом партицированна условно по dt , location,platform и прочим радостям.
ну в спарке скажем с этим удобно - ты создаешь таблицу через hive:
create table XXXИ делаешь туда
Partition By (X,Y,Z)
insertInto, не указывая колонокK
ну в спарке скажем с этим удобно - ты создаешь таблицу через hive:
create table XXXИ делаешь туда
Partition By (X,Y,Z)
insertInto, не указывая колонокно я не знаю какие партиции
K
максимум знаю, что по dt партицировано
R
эммм,
show create table?)K
не, я это могу сделать, но это руками
АЖ
так-то спарк insertInto делает сам
K
я вообще без спарка хотел бы обойтись
АЖ
ааа
R
так-то спарк insertInto делает сам
кстати не совсем, нужно чтобы партицируемые колонки в конце DataFrame стояли в верном порядке
АЖ
кстати не совсем, нужно чтобы партицируемые колонки в конце DataFrame стояли в верном порядке
точно, да
АЖ
ну я ему просто подсовываю select с правильным порядком
R
я вообще без спарка хотел бы обойтись
вроде dynamic.partitions=on должны решать эту проблему
N
вроде dynamic.partitions=on должны решать эту проблему
Но нужно вроде указать partition(x, y, z)
R
тут конечно вопрос в сторону, но если используется Hive, почему бы не использовать Spark?)
N
Hive View в амбари настроил, а spark view нет. 😀
K
можно компактить таблички
K
полученные из стриминга
R
а вы их в дельту из стриминга пишите, она сама все компактит - delta.io