На sql можно фичи считать через where  и через case (select).  Например в Oracle предпочтительно в where только резать большие объёмы данных а логику нести в case.

Это прям заметно когда несколько сот млн лопатишь. Большой where не имеет шансов завершиться

Народ, а вообще, в каких кейсах сейчас hive на mapreduce/tez работает лучше, чем спарк?

А импала? Не?

Куб, а на него спарк

кстати, а кто-нибудь сейчас пользуется импалой?

какие у нее сценарии использования?

Вообще про нее ничего не знаю,если честно, и имел в виду не ее все таки.

А че нет?)) как сейчас тоже хз. Пару лет назад все аналитики в хдфс через нее ходили, по 100тб вытаскивали. На прошлой работе

ааа, аналитика

понял принял

а сейчас аналитики что используют ?

Был случай три года назад с оконными функциями, который отрабатывал на hive-mr, но падал на спарк. Таблица довольно большая, 20 миллиардов. Потом стал делать по-другому, сначала группировка, фильтры, только потом оконная функция и спарк стал работать лучше даже на самых больших таблицах

Ну т.е. в голову тоже не приходят определенные кейсы, в которых вместо спарка стоит предпочесть хайв? (mr в твоём случае)

Нет, просто надо уметь готовить спарк))

Ещё один вопрос нуба про hive . Как работает sum с null нужно ли его проверить на *isnulll* с заменой на 0 ?

Мне кажется, это быстрее самому протестить)
P.s. я бы подсказал, но я и сам не знаю)

Кликхаус

а можно почему вы так считаете?

Ну это лишь в одном из направлений.
Вообще ещё athena(и аналоги в azure и google cloud), presto, а кто - то на гринпламе.
Кто - то на редшифте. По - разному, короче.

1) Потому что затаскивали нормально его долго. Вот жира таска сборная, в рамках которой это делали:
https://issues.apache.org/jira/browse/HIVE-7292
и делали это много лет, и как я понимаю, все ещё до конца не доделали.
2) Часто видел инфу о том, что hive on spark - это очень не стабильно.
3) Мой личный опыт - были попытка перейти с tez движка на spark движок на свежих версиях hive. В итоге на спарк движке некоторые запросы вылетали с OOM.
4) Обновления спарка в этот движок затаскивались с большим лагом, т.е. там реально долго был спарк 1.6, когда уже вовсю на 2.х жили люди.

hive все же бд, у нее есть буферный кэш (в новых версиях), есть общая история всех запросов (может появятся какието инструменты для управления планами). До spark 3, в hive уже были join predicate pushdown,
Число контейнеров для reduce определяется автоматом, файлы на выходе мержатся, если их много, бакетирование на уровне метастора для таблиц, который можно перееиспользовать, автовыделение ресурсов под запрос