Size: a a a

2022 January 30

A

Alex in Moscow Spark
Это же поделка клоудеры была

В какой-то момент хайв ушёл от мр в направлении теза и многих других плюшек

Но клоудера с одной стороны пихала импалу, а тем кому всетаки нужен был хайв вот этот движок и запилили

Если смотреть комитеров то почти все из клоудеры

В тоже время тез в хайв клоудера принципиально к себе не затягивала
источник

Д

Дмитрий in Moscow Spark
Пользовал hive tez, вполне работоспособно, hive sparc сейчас есть, но что то не едет, но tez тоже пришлось тюнить.
источник

C

Cotantin in Moscow Spark
Ну с этим в целом все понятно) Я витринами вообще не занимался, поэтому хотелось бы понятно как вообще это делают обычно, может какие то best practises есть
источник

NN

No Name in Moscow Spark
А зачем tez, если есть спарк?
В чем выигрывает?
источник

Д

Дмитрий in Moscow Spark
Не едет ...
источник

NN

No Name in Moscow Spark
Да не хайв он спарк, а просто спарк
источник

Д

Дмитрий in Moscow Spark
Есть разные задачи. Некотрым нужен  доступ по jdbc.
источник

Д

Дмитрий in Moscow Spark
В моих задачах мне достаточно scala spark.
источник

NN

No Name in Moscow Spark
Спарк тоже умеет стучаться по jdbc.
Что именно хайв умеет такого, чего сейчас не умеет спарк? И что делает лучше?
Мне прост любопытно, я не смог ничего в хайве найти. В движке, не в метасторе.
источник

Д

Дмитрий in Moscow Spark
Доступ к паркету по jdbc. С sql.
источник

ПФ

Паша Финкельштейн... in Moscow Spark
trinodb!
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Хайв я вообще не оч понимаю зачем в наше время надо
источник

Д

Дмитрий in Moscow Spark
Очередной франкейнштейн ...
источник

ПФ

Паша Финкельштейн... in Moscow Spark
В смысле?
источник

NN

No Name in Moscow Spark
Я, наверное, не оч понимаю, что такое доступ по jdbc к паркету?
источник

NN

No Name in Moscow Spark
Пфф
источник

Д

Дмитрий in Moscow Spark
И это хорошо, заказчики иногда бывают очень загадочные ...
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Франкенштейн — это хайв: давате соберём все неудачные решения в одном: ярн, которых хрен замасштабируешь гибко, хайв метастор, непонятно какой диалект SQL…
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Честно скажем, в trinodb тоже хайв метастор можно использовать, но бе всего ада с кривыми движками
источник

NN

No Name in Moscow Spark
Вы на вопрос можете ответить?
Пока я не увидел в хайве ничего, что не умеет спарк. В том числе, спарк и по jdbc стучится куда угодно, и паркеты открывает.
источник