K
они ее ТОЛЬКО заанонсили
Size: a a a
2019 May 24
R
ну мы ей задолго до анонса пользовались внутри датабрикса - все нормально с ней)
AP
Но нужно вроде указать partition(x, y, z)
Да, dynamic позволяет не волноваться, что партиции будут созданы, но поля нужно в SQL задавать.
АЖ
они ее ТОЛЬКО заанонсили
пересядь на иглу датабрикса с лица хадупа!
AP
ну мы ей задолго до анонса пользовались внутри датабрикса - все нормально с ней)
Вот это интересно, неужели, никаких проблем?🙂
K
я хотел бы как то динамически выяснить имена партиций и заинсертить партицированно)
K
и чтобы это движком хайва обрабатывалось, чтобы компакшн инструкции отработали корректно
AP
я хотел бы как то динамически выяснить имена партиций и заинсертить партицированно)
Поля или конкретные партиции - каталоги? Поля нужно задать (например, dt), а конкретные партиции (например, dt=<today>) уже не нужно, если dynamic включен. Поля можно из metadata вытащить, но это некоторое кода количество сбоку.
R
Alexander Piminov
Вот это интересно, неужели, никаких проблем?🙂
нуууу
смотря какой ворклоад, на самом деле. функционал описанный там работает целиком, и merge into и все плюшки с time-travel
другая проблема что когда тебе нужно сделать атомарный upsert (скажем 20к апдейтов на таблицу в 400 лямов строк) она требует уж больно большой кластер держать
но если у вас on-premises свой хадуп, то это прям норм кейс
смотря какой ворклоад, на самом деле. функционал описанный там работает целиком, и merge into и все плюшки с time-travel
другая проблема что когда тебе нужно сделать атомарный upsert (скажем 20к апдейтов на таблицу в 400 лямов строк) она требует уж больно большой кластер держать
но если у вас on-premises свой хадуп, то это прям норм кейс
K
Alexander Piminov
Поля или конкретные партиции - каталоги? Поля нужно задать (например, dt), а конкретные партиции (например, dt=<today>) уже не нужно, если dynamic включен. Поля можно из metadata вытащить, но это некоторое кода количество сбоку.
ну код я знаю как писать, но я же ленивый)
K
нуууу
смотря какой ворклоад, на самом деле. функционал описанный там работает целиком, и merge into и все плюшки с time-travel
другая проблема что когда тебе нужно сделать атомарный upsert (скажем 20к апдейтов на таблицу в 400 лямов строк) она требует уж больно большой кластер держать
но если у вас on-premises свой хадуп, то это прям норм кейс
смотря какой ворклоад, на самом деле. функционал описанный там работает целиком, и merge into и все плюшки с time-travel
другая проблема что когда тебе нужно сделать атомарный upsert (скажем 20к апдейтов на таблицу в 400 лямов строк) она требует уж больно большой кластер держать
но если у вас on-premises свой хадуп, то это прям норм кейс
если в спарк добавят поддержку менедж тейблов хайва
K
то дельта не нужна будет
N
Да ладно, там 10 строк петона, лазящего по метастору
K
Да ладно, там 10 строк петона, лазящего по метастору
а тесты?
K
и чтобы это все в даге было
A
если в спарк добавят поддержку менедж тейблов хайва
менедж тейблы это которые орки свежие?
K
которые кислые таблички поддерживают
R
если в спарк добавят поддержку менедж тейблов хайва
"если бы у бабушки..."
вообще больше всего хочется увидеть индексы на паркете наконец, но это видимо до второго пришествия
вообще больше всего хочется увидеть индексы на паркете наконец, но это видимо до второго пришествия
N
"если бы у бабушки..."
вообще больше всего хочется увидеть индексы на паркете наконец, но это видимо до второго пришествия
вообще больше всего хочется увидеть индексы на паркете наконец, но это видимо до второго пришествия
Какие? Btree?