пока миллионы)

это не территория MPP, хватит обычной постгре

ок. спасибо!

2. Структуру хранилища надо проектировать под ваши потребности, я бы решал пока задачу выгрузки один в один
3. промежуток надо выбирать исходя из загруженности источника и потребностей аналитики, для самых загруженных источников обычно берут CDC (у кассандры он есть, но не прям realtime, и там есть проблемы с дубликатами и порядком записей, а также изменения схемы он вроде не писал, тут надо на CD рассчитывать)
4. самое простое, наверное, это COPY TO из кассандры и COPY FROM в postgresql, данных у вас копейки и все должно пролететь

еще раз спасибо за развернутый ответ!

4. самое простое, наверное, это COPY TO из кассандры и COPY FROM в postgresql, данных у вас копейки и все должно пролететь. Правильно понимаю, что просто пишем скрипт копирования данных из cassandra в greenplum?

надо спросить у вашего кассандра инженера, можно ли (и когда) использовать COPY TO, а дальше уже писать скрипты, или задачки для эйрфлоу или что там у вас

этот подход выгружает файл на локальный диск, а дальше загружаете его в ПГ

👌

Привет!
А подскажите, плиз
Если Spark Thrift server валится с ошбкой на timeout при BroadCastJoin на некоторые SQL запросы, то какой бест практис? Увеличивать timeout или отключать BroadCastJoin (контролировать SQL запросы, которые приходят в thrift server я не могу, собственно, как и переписывать их за пользователей)

просто мне кажется, что выбор между увеличением таймаута или отключением бродкаста это что-то вроде выбора из двух стульев

А нельзя таким пользователям а-та-та присылать за неадекватные бродкасты?

Ну они только sql через JDBC пишут. Они даже не в курсе, что там внутри спарк) BroadCast он сам делает

А что, у них какие-то дикие объемы данных автобродкастятся? Там же, по идее, по умолчанию только < 10 Мб

да вот немного должно быть
Дефолтные значения я не менял, но спарк почему-то в 300 секунд не укладывается и падает с таймаутом. Я ща пока убрал бродкаст джоин, посмотрим, что скажут)

хм
а мб это потому что статистики с хайвовых таблиц не обновлялись никогда?)

Мне кажется, что это никак не аффектит

Есть задача перенести PL-SQL на hive . М.б. есть у кого ценные советы как это  лучше приготовить ? Каскад трансформационных view тут подойдёт ?

был такой проект, HPL/SQL, но я не знаю статус

как архитектор я бы переделывал на микросервисы конечно, in-database процедуры без базы данных это еще хуже чем обычные процедуры в базе