Да, мое описание довольно таки хаотично, вдобавок моими толстыми пальцами трудно попасть в эти маленькие буковки на телефоне  😁

Идея использования delta lake, Hudi, Iceberg пришла от необходимости периодически  делать backfill. Насколько я понял, эти технологии могут помочь облегчить эти операции. SCD1 когда-то удовлетворял потребности этой компании, когда данных было немного. Теперь дата сет вырос в несколько раз, железо ненадежное, и нарастить его тоже проблематично и долго. Поэтому я решил перевести всё в режим SCD2, или IDL + deltas.

Если у вас хайв, то и на нем без особых проблем можно реализовать scd2

Где можно об этом почитать?

Да, мое описание довольно таки хаотично, вдобавок моими толстыми пальцами трудно попасть в эти маленькие буковки на телефоне  😁

Идея использования delta lake, Hudi, Iceberg пришла от необходимости периодически  делать backfill. Насколько я понял, эти технологии могут помочь облегчить эти операции. SCD1 когда-то удовлетворял потребности этой компании, когда данных было немного. Теперь дата сет вырос в несколько раз, железо ненадежное, и нарастить его тоже проблематично и долго. Поэтому я решил перевести всё в режим SCD2, или IDL + deltas.

Единственное, что мне не совсем понятно, почему Вы считаете, что это сэкономит ресурсы. Наоборот, этот вариант предполагает появление историчности, ну и цепочка вычислений станет длиннее.

Обьем данных у нас сейчас узкое место, поскольку пропихнуть полные снепшоты в хадуп занимает довольно много часов. Поэтому оптимизация скорее тактическая.

Ну, смотрите - суть scd2 в том, что вы хотите хранить историю изменений, и в этом нет элемента оптимизации. Ваш вариант (scd1) в плане экономии места оптимальнее, ведь вы просто перезаписываете данные, и у вас всегда актуальный срез. У Вас какой кейс?

Согласен, однако объем данных ведь растёт. То есть data at rest меньше чем с историей изменений, но data in transit уже не помещается в существующие ресурсы или требуется настолько больше времени для обработки, что для бизнеса эта информация становится устаревшей.

Товарищи, нет ли тулзы для поиска битых AVRO?

Товарищи, нет ли тулзы для поиска битых AVRO?

Товарищи, нет ли тулзы для поиска битых AVRO?

А чем avro tools не подошло?

можно еще на спарке навелосипедить с spark.sql.files.ignoreCorruptFiles=true