Size: a a a

2019 July 11

K

KrivdaTheTriewe in Data Engineers
We will certainly want a 2.4.4 release eventually. In fact I'd expect
2.4.x gets maintained for longer than the usual 18 months, as it's the
last 2.x branch.
источник

UD

Uncel Duk in Data Engineers
Ramzan Bekbulatov
Добрый день! Какие хранилища в проде используют для хранения временных рядов?

Т.е. есть время (таймстемп) и связанное с этим временем значение (джсон). Самые частые запросы это выдать значения за временной интервал, т.е. от одного таймстемпа до другого.

Пока суммарно значений по количеству около миллиарда, ожидается рост до 5-10 млдр. Плюс хочется иметь быструю заливку данных (не критично).
Если есть напильник/компетенции,
Akumuli
источник

RB

Ramzan Bekbulatov in Data Engineers
Uncel Duk
Если есть напильник/компетенции,
Akumuli
Посмотрю, спасибо!
источник

S

Stanislav in Data Engineers
KrivdaTheTriewe
We will certainly want a 2.4.4 release eventually. In fact I'd expect
2.4.x gets maintained for longer than the usual 18 months, as it's the
last 2.x branch.
А есть уже что-то в тройке?
источник
2019 July 12

A

Alex in Data Engineers
Rc вроде ещё не собирают, но интересные вещи есть
источник

A

Alex in Data Engineers
Например:
Поняли что хайв 1.2.1 уже немного устарел и делают сборки с 1.2.1 и 2.3.5 версией. Во втором случае используют apache hive как зависимость, а не spark-project
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
Ждёмс
источник

UD

Uncel Duk in Data Engineers
источник

UD

Uncel Duk in Data Engineers
пакеты тоже? или опять еула
источник

A

Alex in Data Engineers
а вот хз, поэтому и говорю “ждёмс, что же нам покажут”
источник

UD

Uncel Duk in Data Engineers
Alex
Например:
Поняли что хайв 1.2.1 уже немного устарел и делают сборки с 1.2.1 и 2.3.5 версией. Во втором случае используют apache hive как зависимость, а не spark-project
они в итоге по старым граблям пошли? Типа джарник с патчами?
источник

A

Alex in Data Engineers
частично да, частично нет
как уже сказано 2.3.5 уже берут из апача, а не кастомный билд
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
посмотри на папки, чтобы по разному апи поддерживать подключают на этапе билда
источник

A

Alex in Data Engineers
v1.2.1/src или v2.3.5/src

<configuration>
             <sources>
               <source>v${hive.version.short}/src/main/scala</source>
               <source>v${hive.version.short}/src/main/java</source>
             </sources>
           </configuration>
источник

UD

Uncel Duk in Data Engineers
Не прошло и 3х лет
источник

UD

Uncel Duk in Data Engineers
источник

UD

Uncel Duk in Data Engineers
Спасибо!
источник

A

Alex in Data Engineers
@Unkledolan ну и дополнительно проперти

<hive.group>org.spark-project.hive</hive.group>

дальше все депенденси в виде

<dependency>
     <groupId>${hive.group}</groupId>
     <artifactId>hive-jdbc</artifactId>
   </dependency>
источник