Size: a a a

2020 February 13

N

Nikita Blagodarnyy in Data Engineers
Идиотский вопрос, но может быть кто-то рылся и знает, в каком классе Феникс  трансофрмирует hbase-ный byte [] в java-типы Long, int, Timestamp и т.д.?
источник

AE

Alexey Evdokimov in Data Engineers
Anton Kovalenko
А кстати вопрос вендорской поддержки выбранного решения (даже для open source) в проекте важен?
предполагается, что эксплуатировать решение потом будет заказчик. так что скорее да, важен
источник

A

Anton Kovalenko in Data Engineers
Alexey Evdokimov
предполагается, что эксплуатировать решение потом будет заказчик. так что скорее да, важен
Тогда на вскидку под такую задачу из нашего стека может подойти Greenplum и ClickHouse. Может даже в комбинации. Но чтобы понять, надо копать задачу глубже. Возможно что-то еще из Open Source хорошо подойдет, но конкретно мы тут уже с поддержкой не поможем.
источник

NB

Nikita Bakanchev in Data Engineers
Всем привет. Подскажите, пожалуйста, метаданные для управлением загрузок pipeline и историю загрузок по опыту лучше хранить в отдельной СУБД или прямо в HDFS с Hive над ним. Сейчас используется Hadoop, загрузка через Spark.
источник

AE

Alexey Evdokimov in Data Engineers
Anton Kovalenko
Тогда на вскидку под такую задачу из нашего стека может подойти Greenplum и ClickHouse. Может даже в комбинации. Но чтобы понять, надо копать задачу глубже. Возможно что-то еще из Open Source хорошо подойдет, но конкретно мы тут уже с поддержкой не поможем.
а у кх с геоданными-то как? есть вообще?
источник

A

Anton Kovalenko in Data Engineers
Alexey Evdokimov
а у кх с геоданными-то как? есть вообще?
Лучше как-то поконкретнее вопрос сформулировать
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
а у кх с геоданными-то как? есть вообще?
нет ничего, присылай pr
источник

AE

Alexey Evdokimov in Data Engineers
сам нашёл. не, нету толком. плоская у него геометрия, и чуть-чуть H3. но с ним мы и сами умеем
источник

K

KrivdaTheTriewe in Data Engineers
Евгений
спарк может быть
Я вас порицаю
источник

A

Anton Kovalenko in Data Engineers
Alexey Evdokimov
сам нашёл. не, нету толком. плоская у него геометрия, и чуть-чуть H3. но с ним мы и сами умеем
источник

Е

Евгений in Data Engineers
KrivdaTheTriewe
Я вас порицаю
мопед не мой
источник

AE

Alexey Evdokimov in Data Engineers
про то и речь. это фигня, ни о чём совсем
источник

Е

Евгений in Data Engineers
а в чем проблема со спарком?
источник

K

KrivdaTheTriewe in Data Engineers
Евгений
мопед не мой
Вам хочется , проведите ниокр, вы хотите затащить людям 4 совершенно разные вещи
источник

K

KrivdaTheTriewe in Data Engineers
Для разных вещей
источник

K

KrivdaTheTriewe in Data Engineers
Хбейз
источник

K

KrivdaTheTriewe in Data Engineers
Оракал
источник

K

KrivdaTheTriewe in Data Engineers
Кх спарк
источник

K

KrivdaTheTriewe in Data Engineers
У них разные гарантии и разная модель использования
источник

Е

Евгений in Data Engineers
мы не хотим. эти вещи - то что уже есть у Оператора. нам разшено использовать все что есть, возможно разрешено взять что-то свое
источник