Тэг темплейт это тип тэга, который привязан к иаму, это не тип записи в каталоге (entry)

Хм, значит я невнимательно читал

Tag Template это по сути роль, что уже лучше чем Атлас+Ranger, но это совсем не про расширяемость

У них там где-то было написано что Cloud Store бакеты не поддерживаются, зачем было писать так если бы оно было расширяемо?

Annisa Lo℡©咀爆你個頭™ has been banned! Reason: CAS ban.

Не понимаю про что ты

Про акл?

Note: Tagging Cloud Storage assets (for example, buckets and objects) is unavailable in the Data Catalog beta release.

Alif MÍÇHÀÊL has been banned! Reason: CAS ban.

Ааа, ну печаль совсем

Если у меня данные в клауд сторадже то я не вижу их в дата каталоге, не могут добавить тэг

И свой тип сделать нельзя

Так что не знаю где он там может все тоже что атлас, он даже глу и дата фактори проигрывает

Согласен, не разобрался.

Коллеги, а кто нибудь юзает Apache Flink на HDP 3.1 в проде?

когда, где, куда слать, и вообще, если есть сайт то было бы здорово ссылку

Привет. Когда и где объявим буквально на этой неделе. Слать мне в личку, но лайн-ап на ближайший митап уже укомплектован. Но ты шли обязательно, в в этом году у нас еще один митап планируется )

Я хотел нашим сбросить, есть сотрудники в России, могут заинтересоваться

Подскажите в чем разница Hive и Sparkа ? Или для каких задач что эффективнее работает ?

всем привет. я все еще мучаюсь с выбором хранилища под юзкейс.
Смысл такой - у нас есть несколько потоков событий:
- платежи
- заказы
- еще чего-нибудь
Они льются из кафки и читаются спарком.
Дальше их нужно положить в структуру по айдишнику клиента, и апдейтить если прилетают новые значения.
Пример структуры данных:

{
  “some_user_id”:
    payments: [
       {“payment_id”: 100, “payment_value”: 120}
    ],
    orders: [
       {“order_id”: 200, “order_item”: [“something”]}
    ]
 }

Прилетающий апдейт может, например, обновить данные вот так:

{“order_id”:200, “order_item”: [“something”, ”something_else”]}

А вот реквестить эти данные снаружи уже будут с агрегацией до клиента, например как-то так:

select count(orders) from data where user_id=“some_user_id”

Получается что нужно kv-хранилище со вложенными индексами, причем хорошо масштабируемое (данных прибывает много, уже >>1TB и прирост около 0.5TB в год).
Я смотрю в сторону HBase, но кажется что у него с nested index все прямо не очень. Какое хранилище подойдет под такой кейс?