ДШ
Клаудера его перекомпилировала со сменой serial version назачемто
Size: a a a
2019 May 15
ДШ
Плюс надо проверить какие библиотеки у игнита? Если дело реально в cache-api - то может он там другой версии?
AS
Плюс надо проверить какие библиотеки у игнита? Если дело реально в cache-api - то может он там другой версии?
здесь я точно увреен, что одинаковые, т.к. даже пробовал подменять игнитовскими те, что в спарке
AS
Я такое видел когда запускал Спарк на клаудеровском кластере с зависимостью от обычного спарка
сейчас пытаюсь выяснить, какой спарк стоит на кластере, т.к. ставил не я, а зависимости в коже точно обычные из мавенского репозитория
AS
Спарк с оф. сайта под ярном. Никаких сборок не использовали.
AS
насчет зависимостей
hdfs://172.25.12.60:9000/temp/cache-api-1.0.0.jar,hdfs://172.25.12.60:9000/temp/dispatcher_2.11-0.2.jar,hdfs://172.25.12.60:9000/temp/h2-1.4.197.jar,hdfs://172.25.12.60:9000/temp/ignite-core-2.7.0.jar,hdfs://172.25.12.60:9000/temp/ignite-indexing-2.7.0.jar,hdfs://172.25.12.60:9000/temp/ignite-log4j-2.7.0.jar,hdfs://172.25.12.60:9000/temp/ignite-spark-2.7.0.jar,hdfs://172.25.12.60:9000/temp/ignite-spring-2.7.0.jar,hdfs://172.25.12.60:9000/temp/postgresql-42.2.5.jar,hdfs://172.25.12.60:9000/temp/spring-beans-4.3.18.RELEASE.jar,hdfs://172.25.12.60:9000/temp/spring-context-4.3.18.RELEASE.jar,hdfs://172.25.12.60:9000/temp/spring-core-4.3.18.RELEASE.jar,hdfs://172.25.12.60:9000/temp/spring-expression-4.3.18.RELEASE.jar
AS
это то, что касается драйв ноды.. а как глянуть различия с воркером?
AS
Версия скалы в спарке и проекте совпадает, версия spark-sql тоже
DP
Привет всем, кто использовал Spark + HBase, при сохранении DataFrame в базу пишет что не найден формат
DP
java.lang.ClassNotFoundException: Failed to find data source: org.apache.hadoop.hbase.spark
GP
java.lang.ClassNotFoundException: Failed to find data source: org.apache.hadoop.hbase.spark
нет такого датасорса официально; может ты примеры копировал из
hbase-spark-datasource?DP
пример искал много где, вот один из них http://amithora.com/writing-spark-data-frame-to-hbase/
AZ
пример искал много где, вот один из них http://amithora.com/writing-spark-data-frame-to-hbase/
так надо SHC подложить в classpath
AZ
ну и добавить в зависимости в этом проекте, если уберджар
GP
"com.hortonworks.shc" % "shc-core" % "1.1.0.3.1.2.0-4"
лежит тут
http://repo.hortonworks.com/content/repositories/releases/
DP
спасибо попробую
DP
тоже не находит, не знаю в чем дело
GP
не так импортишь