Будешь долго мучаться 👻
Ищи на гитхабе парсел, может кто уже собрал

Может копать в сторону hdp? А то с 6.3.3 cloudera стала платной 😡

Подскажите, как лучше всего задизайнить инкрементальный ETL, который агрегирует ивенты в сессии и считает для каждой сессии определённые метрики. Вопрос в сессиях, которые могли начаться раньше инкремента - как правильно пересчитать для них метрики? Понятно, что мы можем сделать coalesce инкремента с предыдущим состоянием. Но если к примеру у нас одна из метрик это сумма ивентов, то как избежать многоразового суммирования, если потребуется несколько раз бэкфиллить таблицу?

Складывай суммы в разрезе инкрементов. Потом бери по сессиям все их инкременты и пересчитывай целиком.

Т.е. историю метрик для каждого инкремента хранить?

Ну ты ж сыряк наваливаешь куда-то?

Интересная мысль, спасибо 👍

Такие упражнения удобно на клике делать. У него как бы 2 эффективных способа доступа-по партициям и по первичному индексу. В итоге можно сделать партиции по инкременту, а индекс - по бизес полю. И в итоге наваливаешь одну и ту же сессию в много разных партиций, а потом одну сессию по индексу считываешь со всех партиций.

Можно не морочиться со связкой "инкремент-бизнес сущность" многие ко многим.

hdp тоже cloudera и тоже $$. Вот смотрю в сторону  mapR , но вроде там нет 3го хадупа.

hdp говорят можно самому собрать забесплатно

Ну там вроде есть какая-то версия готовая с относительно старыми пакетами, но вроде ничего не мешает поверх накрутить всякого, если я ничего не путаю.

This is what I need to know

Добрый день! У меня hue был на той же машине что hive после переезда hue на другую машину появилась ошибка "Error when fetching the logs of the operation." После проверки конфига hive-site.xml заметил директорию
 <property>
     <name>hive.server2.logging.operation.log.location</name>
     <value>/tmp/hive/operation_logs</value>
   </property>
Нужно ли изменить патч чтобы стучаться из иной машины в машину где стоит hive?

Привет, есть в хайве какая-нибудь инфа о том, кто из пользователей последний раз очищал/перезаписывал таблицу ?

Ну, если вы готовы потратить на накручивание всякого и отладку примерно месяц времени, то конечно

Так не обо мне речь. Может, товарищ готов.

Все равно быстрее, чем свой амбари писать.

Странно, что здесь никак не отреагировали что с 1.02.21 клоудера и hdp платные ) у всех  энтеопрайз? А что там с bigtop? )