вообщем нет

[2021-02-03 16:49:37] Error running query: org.datanucleus.store.query.QueryNotUniqueException: The query returned more than one instance BUT either unique is set to true or only aggregates are to be returned, so should have returned one result maximum при обращение к таблице из схемы

=> я видимо как то сломал мета стор, теперь вопрос как его починить

Apache Iceberg это вместо Hive или в дополнение?

Я посмотрел их сайт, презентации, код и везде идут сравнения с тем насколько это лучше hive.

Если внедрять айсберг, какой процент функциональности будет замещен, половина?

В дополнение, причём если у вас Hive это основной инструмент для пайплайнов и потребления - сейчас будет больно

Понятно, спасибо!

А почему будет больно?

Мало что работает через хайв, надо будет через Спарк или Престо запускать

Начнём с того зачем вам айсберг?

Это я и пытаюсь понять, методом научного тыка 😊

У нас много запросов идёт через Престо.

Предыдущий владелец даже ETL сделал через Престо.

Так не надо; вы какую проблему решаете?

Одна из проблем это ETL - в настоящий момент идёт загрузка полных снепшотов базы. Я хочу сделать инкрементал и поэтому начал  рассматривать deltalake, hudi, iceberg. В документации айсберга прочел о недостатках hive metastore и поэтому хотелось бы узнать если одним махом можно решить ещё и медленный HMS.

сами по себе ACID форматы вашу проблему не полечат, вам до дельты или айсберга придется наладить забор инкремента из источника, в зависимости от архитектуры у вас может быть еще ряд задач..

Ощущение, что у вас немного перемешалось все, инкрементальная загрузка никак не влияет от всяких технологий - это просто один из методом/паттерном загрузки данных

Возможно, коллега хотел бы грузить данные более привычным способом, как в реляционных бд, и, например, не через реализацию scd2, а просто делать update/delete

Да, мое описание довольно таки хаотично, вдобавок моими толстыми пальцами трудно попасть в эти маленькие буковки на телефоне  😁

Идея использования delta lake, Hudi, Iceberg пришла от необходимости периодически  делать backfill. Насколько я понял, эти технологии могут помочь облегчить эти операции. SCD1 когда-то удовлетворял потребности этой компании, когда данных было немного. Теперь дата сет вырос в несколько раз, железо ненадежное, и нарастить его тоже проблематично и долго. Поэтому я решил перевести всё в режим SCD2, или IDL + deltas.