EV
Size: a a a
2019 May 06
ЕГ
Планированием не я занимался)
2019 May 07
DP
Привет всем, как подключить HBase к Apacher Spark (v 2.3.0 ), Scala v 2.11.8 ?
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
AZ
Привет всем, как подключить HBase к Apacher Spark (v 2.3.0 ), Scala v 2.11.8 ?
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
есть несколько вариантов как их интегрировать, отличаются подходом к сериализациии и работой со схемой, если вам просто для демо и с нуля (в hbase нет данных от других приложений), то попробуйте SHC https://github.com/hortonworks-spark/shc
DP
есть несколько вариантов как их интегрировать, отличаются подходом к сериализациии и работой со схемой, если вам просто для демо и с нуля (в hbase нет данных от других приложений), то попробуйте SHC https://github.com/hortonworks-spark/shc
да там нету данных так как HBase даже не установлен, только в Docker есть рабочий контейнер с HBase, я не вижу в примерах из репозитория сверху как именно делать конект к HBase из Spark, надо разобратся, спасибо.
AZ
да там нету данных так как HBase даже не установлен, только в Docker есть рабочий контейнер с HBase, я не вижу в примерах из репозитория сверху как именно делать конект к HBase из Spark, надо разобратся, спасибо.
Через подкладывание конфигов в класспас, или явно как тут (указать путь до конфига) https://github.com/hortonworks-spark/shc/blob/master/examples/src/main/scala/org/apache/spark/sql/execution/datasources/hbase/JoinTablesFrom2Clusters.scala
GP
Привет всем, как подключить HBase к Apacher Spark (v 2.3.0 ), Scala v 2.11.8 ?
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
можно запускать в контейнере хбейз
я не очень понимаю, что значит ‘подключить’
пока у джобы есть все джарники она будет работать с хбейзом нормально
главная проблема на мой вгляд тут научить хбейз не путать локальный ип, локальный хостнейм и т.п. иначе он может деклайнить все конекты
я не очень понимаю, что значит ‘подключить’
пока у джобы есть все джарники она будет работать с хбейзом нормально
главная проблема на мой вгляд тут научить хбейз не путать локальный ип, локальный хостнейм и т.п. иначе он может деклайнить все конекты
GG
Привет всем, как подключить HBase к Apacher Spark (v 2.3.0 ), Scala v 2.11.8 ?
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
Возможно ли запускать HBase в докер контейнере тк. так легче, и подключить её к проекту с Spark ? (нужно сделать стартовый рабочий проект для тестов)
буду рад любой помощи, спасибо
в докере можно
GG
но как сказали - много нюансов
GP
конект можно делать через код, не надо ничего подсовывать, никакие хмлки с кофингурациями.
можно менять hadoopConfiguration в любом месте кода
можно менять hadoopConfiguration в любом месте кода
GP
org.apache.hadoop.hbase.HBaseConfiguration то что надосетится руками кворум, порт и мастер - вот все что надо для конекта к хбейзу
DP
можно запускать в контейнере хбейз
я не очень понимаю, что значит ‘подключить’
пока у джобы есть все джарники она будет работать с хбейзом нормально
главная проблема на мой вгляд тут научить хбейз не путать локальный ип, локальный хостнейм и т.п. иначе он может деклайнить все конекты
я не очень понимаю, что значит ‘подключить’
пока у джобы есть все джарники она будет работать с хбейзом нормально
главная проблема на мой вгляд тут научить хбейз не путать локальный ип, локальный хостнейм и т.п. иначе он может деклайнить все конекты
подключить - я тоже не уверен если тут стандартно, мб я сам себе придумываю а все по другому
Если взять пример с https://github.com/oscar-martin/docker-spark-hbase-yarn
докер запускает HBASE WebApp —> http://dmhadoop:16010/master-status , я думаю что этот путь надо указать в конфигах спарк
Если взять пример с https://github.com/oscar-martin/docker-spark-hbase-yarn
докер запускает HBASE WebApp —> http://dmhadoop:16010/master-status , я думаю что этот путь надо указать в конфигах спарк
GP
можно все в рантайме делать
GP
зачем хардкодить конекты?
GP
а если несолько хбейзов
GP
import org.apache.hadoop.hbase._
import org.apache.hadoop.hbase.client._
val conf = {
val c = HBaseConfiguration.create
c.set("hbase.zookeeper.quorum", zookeepers)
c.set("hbase.zookeeper.property.clientPort", clientPort)
c.set("hbase.master", master)
c
}
val connection = ConnectionFactory.createConnection(configuration)
^ ну вон коннекшн будет коннект к хбейзу
DP
http://dmhadoop:16010/master-status
c.set("hbase.zookeeper.quorum", "dmhadoop")
c.set("hbase.zookeeper.property.clientPort", "16010")
c.set("hbase.master", "master-status")
так ?
c.set("hbase.zookeeper.quorum", "dmhadoop")
c.set("hbase.zookeeper.property.clientPort", "16010")
c.set("hbase.master", "master-status")
так ?
GP
зукипера адрес нужен там)
GP
а мастер какраз дмхадуп
GP
но только имя должно соотвествовать тому как он (хбейз) себя называет в зукипере