Это будет дорого безотносительно хадупа

На текущем этапе, даже при условии существования худи и айсберга, я бы не рекомендовал устраивать на хадуп кластере что-либо, кроме хранилища сырых данных и уже обработанных реплик для обучения моделек и прочего, а обработку данных лучше перенести на что-то более олап-ориентированное, какую-нибудь mpp, если мы говорим о больших данных.
Ну и жирные денормализованные витрины можно анализировать кликом/пинотом/друидом.

Распиши подробнее кейс - какой источник, какой формат данных

вот это отлично сформулированный совет

Объемы ещё будут полезны, мб там все в PG на m6g.8xlarge будет летать

От объёма зависит

Это вообще как угодно

Объём в гигабайтах важен, если у вас гигабайты в час - можно делать партиции внутри часа, если у вас килобайты в день - можно даже на месяце остановится

Если гигабайты то не может быть много

Ситуация наша в следующем - большинство источников отдают информацию полным срезом, например Siebel отдает всех клиентов, при том, что то дня ко дню меняется 0.2% базы, файл в тексте весит 10гб. Каждый день складывать 10гб по каждой сущности - выглядит избыточным. Инкремент из такой порции вычисляется за 20-30 минут.

Вот и вопрос - стоит складывать по огромным срезам каждый день или там, где источник не может дать инкремент, считать дельту

Что конкретно означает "источник не может дать инкремент"?

В таблице есть поля типа Datetime/timestamp?

Если да, то наверняка в ней есть поле update_ts

Или аналогичное

Вот по нему берём и фильтруем

Не верю, что сибель не делает такие поля в своих бэк-таблицах, которые вам надо качать

А вам по даунстриму что нужно, изменения или полный снапшот на каждую дату?

Чё творится? Все лежит

что лежит?