Size: a a a

2019 May 22

GP

Grigory Pomadchin in Data Engineers
у тебя shc-core должна транзитивно все что надо тащить если на то пошло
источник

GP

Grigory Pomadchin in Data Engineers
если на не тащит что-то - то сюда например заходи https://mvnrepository.com/artifact/com.hortonworks.shc/shc-core/1.1.0.3.1.2.0-4
источник

GP

Grigory Pomadchin in Data Engineers
смотри версии
источник

GP

Grigory Pomadchin in Data Engineers
тут плохо что похереный артифакт
источник

GP

Grigory Pomadchin in Data Engineers
но думаю можно догадаться какие версии
источник

GP

Grigory Pomadchin in Data Engineers
hbase 2.0.2 + spark 2.4.0 нужно либе
источник

DP

Dumitru Preguza in Data Engineers
хорошо спасибо
источник

PI

Pavel Ivanovsky in Data Engineers
Ребята, подскажите, есть ли какой-то аналог apache beam который нормально с statefull streaming работает?
источник

PI

Pavel Ivanovsky in Data Engineers
у меня поток данных с gps идет, мне нужно с этого потока метрики собирать и фильтровать. Реализовал на спринг батче, но там это не очень удобно, он не предназначен для фильтрации на потоке....коряво выходит
источник

GG

George Gaál in Data Engineers
я бы предложил инфлакс, но слава Богу, что он сдох
источник

PI

Pavel Ivanovsky in Data Engineers
т.е. какой-то фреймворк при помощи которого я могу выстраивать цепочку reader -> filter<Input,Output>->filter<Input, Output>->writer
источник

PI

Pavel Ivanovsky in Data Engineers
внутри некоторых инстансов фильтров нужно иметь возможность хранить состояние и восстанавливать слепок этого состояния из бд, на случай если все упадет
источник

PI

Pavel Ivanovsky in Data Engineers
reader из кафки, ....думал про стимы от кафки, но оверхеад по-моему по сети гонять постоянно после каждого шага...
источник

PI

Pavel Ivanovsky in Data Engineers
да и тоже не уверен,что они подойдут
источник

PI

Pavel Ivanovsky in Data Engineers
George Gaál
я бы предложил инфлакс, но слава Богу, что он сдох
а ссылочку можно или название на англ,...хоть гляну, как можно было
источник

PI

Pavel Ivanovsky in Data Engineers
Нашел
источник

PI

Pavel Ivanovsky in Data Engineers
вроде живо еще
источник

PI

Pavel Ivanovsky in Data Engineers
источник

GG

George Gaál in Data Engineers
это БД
источник

GG

George Gaál in Data Engineers
а тебе нужен из него https://docs.influxdata.com/kapacitor/v1.5/
источник