предполагается, что эксплуатировать решение потом будет заказчик. так что скорее да, важен
Тогда на вскидку под такую задачу из нашего стека может подойти Greenplum и ClickHouse. Может даже в комбинации. Но чтобы понять, надо копать задачу глубже. Возможно что-то еще из Open Source хорошо подойдет, но конкретно мы тут уже с поддержкой не поможем.
Всем привет. Подскажите, пожалуйста, метаданные для управлением загрузок pipeline и историю загрузок по опыту лучше хранить в отдельной СУБД или прямо в HDFS с Hive над ним. Сейчас используется Hadoop, загрузка через Spark.
Тогда на вскидку под такую задачу из нашего стека может подойти Greenplum и ClickHouse. Может даже в комбинации. Но чтобы понять, надо копать задачу глубже. Возможно что-то еще из Open Source хорошо подойдет, но конкретно мы тут уже с поддержкой не поможем.