Порог входа, маркетинговый бюджет

А во флинке нет flink-sql? Я прост не трогал ни разу.

Есть

Причём с расширением для стриминг даты

Самая большая часть где в кишках есть scala
Это table модулю

Прикольно.
А что ж тогда с входным порогом не так?

Да все так

Но апи было раньше у него чуть более low level чем у spark rdd или датафреймов

Ну и с разворачиванием даже в ярн чуть больше движений и понимания нужно было

А дальше уже сугубо маркетинг

Понял

https://flink.apache.org/2020/07/28/flink-sql-demo-building-e2e-streaming-application.html

Не было раньше норм коннектора на hive

Так как стриминг в первую очередь делали

Поэтому объявлять таблицы или в коде или в yaml приходилось

В последних версиях активно работали над этим и появилась возможность как hive таблицы гонять. Так и те же таблицы поверх kafka объявлять и хранить их в hive, вся метаинфа в расширенных атрибутах лежит

То есть сейчас идёт скрещивание стрим кафта таблиц и батч таблиц в контексте одного метастора и кода

А звучит то удобно

Добрый день. Подскажите, пожалуйста, когда речь идёт о типах хранилищ данных, обычно имеют в виду модели (виртуальное хранилище, витрины, корпоративное хранилище)?

Много это сколько? Из того что видим у себя - минио отторгает такой паттерн)

Ну порядка миллиона наверно. Требование чтобы скейлилось и не зависело от количества файлов. Какой «такой»?)

Много мелких файлов. Довольно сильно начинает утилизироваться cpu на нодах. Если правильно помню, он на каждом узле под ногами хранит метаданные, и в этом собственно его проблема)

А хранить ли файлы плоско или по директориям не влияет на производительность ?

Ребята, привет! Буду рада услышать любые ваши комментарии) помогите 🆘 советом 😊мой вопрос: какие бэст практис по высчитыванию дельт в Hadoop? Есть ли Фреймворки наиболее для этого подходящие ( например delta lake, hudi , iceberg)? Что посоветуете использовать? А возможно стоит вообще отказаться от расчёта дельт?