V
Вендор лок это плохо, когда ты осознаешь безальтернативность в момент того, когда полимеры уже того...
Size: a a a
2021 April 26
ИК
нет, я предлагаю взять объект спарк-сессии spark, у него есть поле .catalog
A
Если у вас не коммерческая организация, тогда да- никому.
V
А если сильно заранее думать и пилотить все что можно, то будет ок все
IG
мне через sql надо :)
V
Ну и совсем уж кроиловом не заниматься
D
коммерческая, которая увидев цену - скажет дурачки
V
Диагноз по цене)?
V
Ну, на Луну не полетим тогда, ок))
A
А если эта система зарабатывает сумму с 30 нулями? Тоже дурачки?
D
ну а что даст терадата, чего вот прямо сейчас нет у меня в хадуп+delta lake кроме многомиллионого счета и геммороя с нереляционными данными, бэкапной файлопомойкой ?
A
Это как в одной крупной компании решили бюджет начать экономить и первое, что сделали - это срезали бюджет на закупку канцелярии (к слову в месяц на сотрудника вылеплялось 70 р, а срезали до 30)
ИК
Sql будет к метастору, а не к данным, это надо понимать
A
Я вашу систему не видел и руками не трогал, но мне понятно где Терадата лучше чем голый Hadoop. Я вам ее не продаю.
R
в SQL Analytics или job/interactive кластер?
ME
Слушайте, а если в кластере CapacityScheduler с одной дефолтной очередью, как он может одновременно выполнять несколько приложений?
ME
я сейчас 3 запустил, одно взяло себе 75% памяти кластера, остальные 2 с остатками сидели и работали
N
И что не так?
ME
в рамках одной очереди разве не FIFO?
ИК
Впрочем, если describe table или describe table extended возвращает всё хотя бы в одной строке, то можно использовать регулярку для получения только части строки с перечислением полей, потом split по «,», trim, explode и такой sql вернёт список полей, каждое поле в отдельной записи, их тоже можно будет split по «\\s+» и развернуть в отдельные поля