NN
+
Size: a a a
2021 August 13
А
Хайв 3 моментально отдает Макс/мин на основе статистик (и 3 Спарк вроде тоже)
А
Какие версии?
А
hive.compute.query.using.stats
2021 August 16
C
太宰治 Ninette has been banned! Reason: CAS ban.
G
Привет
Народ, подскажите как обновить партиции запериод? Переписать, update^ назовите как угодно. Как это сделать правильно
Народ, подскажите как обновить партиции запериод? Переписать, update^ назовите как угодно. Как это сделать правильно
G
В 2.2.0 не работает. Я как то захлдил сюда уже с этим вопросом. ПРосто надеюсь что есть какие то “старые” паттерны для такой работы
ЕГ
Разбить етл-процесс на несколько тасков - один пишет в темп, второй смотрит, какие партиции появились, и выносит их из старой таблицы, третий мувит темп в старую таблицу, четвёртый удаляет старые данные, если три предыдущих отработали
ЕГ
Желательно между 3 и 4 какую-нибудь автоматическую проверку навесить, что ничего не испортили
G
Сейчас у нас какраз такое решение. Но Есть задача например удалять не только те данные которые обновляются (партиции) а диаппазон
ЕГ
Она не решится с выходом нового спарка)
NN
Почему бы не поднять версию спарка чуть поновее?
ЕГ
Такие вещи только руками через эйрфлоу макросы и систему высчитывания периодов
NN
А, тут это
G
Новый спарк да но если б я решал такие вопросы.
NN
Его нетрудно самостоятельно развернуть, если Вы можете скачать дистрибутив и задать переменные окружения. По крайней мере с хадупом и ярном.
G
Этт было бы просто но вопрос не в том что я могу. Есть ли у меня на это права :)
NN
Так я же не предлагаю исходный дистрибутив сносить, ну или менять настройки для всех
Чисто под свою задачу развернуть.
Чисто под свою задачу развернуть.
G
Поясню. У нас энетрпрайз. Я смогу у себя сделать что угодно. Но на прод поставить не дадут :)