AB
Формально они там в master комитят, но новую версию так и не выпустили. Причем 5-ка была под 2.0 который уже устарел )
Size: a a a
2020 October 28
AB
Ага, сразу после релиза наступила тишина. Зачем релиз был - непонятно. Для красивых циферок в хдп3 что-ли
Основная идея была релизнуться для HBase-2. Но HBase-2 не особо в фаворе, многие на 1.2 до сих пор сидят и не особо планируют обновляться
S
Формально они там в master комитят, но новую версию так и не выпустили. Причем 5-ка была под 2.0 который уже устарел )
Не знал, спасибо. То есть можно глянуть, может есть фиксы, которые нужны. Собирать только не хочется :(
AB
В мастер много чего нового уже влили. Включая консистентные индексы и прочее
SS
Не знал, спасибо. То есть можно глянуть, может есть фиксы, которые нужны. Собирать только не хочется :(
AB
Вроде даже поддержку HBase-2.2 комитили
S
Спасибо
AS
а чего тут так тихо?
не желаете поговорить об HBase?
как из него выGETывать большие пачки данных из Spark?
не желаете поговорить об HBase?
как из него выGETывать большие пачки данных из Spark?
"угадываем" по ключу region server, группируем ключи, читаем
AB
"угадываем" по ключу region server, группируем ключи, читаем
А это все делает HBase client
AZ
а чего тут так тихо?
не желаете поговорить об HBase?
как из него выGETывать большие пачки данных из Spark?
не желаете поговорить об HBase?
как из него выGETывать большие пачки данных из Spark?
так же как и небольшие пачки, get или scan
AZ
ну мб какой-то пушдаун на копроцессорах
AS
А это все делает HBase client
а как вы его из спарка используете?
AB
а как вы его из спарка используете?
У Сережи там HBase Connector используется. Он сплитит как раз по регионом, потому я думаю что HBase Client (которые в конекторе используется) даже ничего особо группировать и не нужно
AZ
hbase connector это тоже самое что
org.apache.spark.sql.execution.datasources.hbase ?AS
У Сережи там HBase Connector используется. Он сплитит как раз по регионом, потому я думаю что HBase Client (которые в конекторе используется) даже ничего особо группировать и не нужно
группируем я имел ввиду кастомное парционирование
AB
@ssheremeta тут уже к тебе вопросы про наш датасорус HBase
AS
hbase connector это тоже самое что
org.apache.spark.sql.execution.datasources.hbase ?вот да, какой именно коннектор? @ox62ash
AZ
вообще кмк если есть прям большой спарковый ворклоад поверх данных hbase - мб куда-то еще эти данные писать, а то производительность это полбеды, есть же еще вопросы целостности, модели, изоляции
SS
а я сейчас даже без spark-hbase коннектора, голым HBase Client API пытаюсь сделать мульти-гет
AZ
а это спарк стриминг, у вас лукапы просто, или батч?