GG
~$ which python
/usr/bin/python
:~$ which python3
/usr/bin/python3
:~$ which python2.7
/usr/bin/python2.7
Size: a a a
2019 June 27
GG
что за факамаза
OI
у меня базовый докер-образ - это python3.6
OI
ну я так понимаю, тут можно симлинками накостылять
GG
можно
GG
а причем тут базовый докер? Ты амбари в докер пытаешься вставить? :-/
OI
а причем тут базовый докер? Ты амбари в докер пытаешься вставить? :-/
не, мне в докере нужен клиент спарковский, чтобы на кластер сабмитить джобы.
Я вчера ещё про это писал)
Я попробовал просто репы апачевские поставить https://archive.apache.org/dist/spark/spark-2.3.2 spark-2.3.2-bin-without-hadoop.tgz , но они, похоже, не дружат с hdp3 и валились с ошибками, что class not found и всё такое.
Я вчера ещё про это писал)
Я попробовал просто репы апачевские поставить https://archive.apache.org/dist/spark/spark-2.3.2 spark-2.3.2-bin-without-hadoop.tgz , но они, похоже, не дружат с hdp3 и валились с ошибками, что class not found и всё такое.
GG
понятно
OI
там всё логирование принтами сделано :///
VS
Привет) вопрос
Можно ли поставить тулы из hdp3 имея python3.6 как системный?
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html
Пробовал из вот этих репозиториев для убутны 18 - падает.
Можно ли поставить тулы из hdp3 имея python3.6 как системный?
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html
Пробовал из вот этих репозиториев для убутны 18 - падает.
в некоторых скриптах по хардкору прописан питон
OI
в некоторых скриптах по хардкору прописан питон
ага, я вот пытался часть скриптов переделать на python3, но чёт не зашло
OI
Exception in thread "main" java.lang.NullPointerException
at scala.collection.mutable.ArrayOps$ofRef$.length$extension(ArrayOps.scala:192)
at scala.collection.mutable.ArrayOps$ofRef.length(ArrayOps.scala:192)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:32)
at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
at org.apache.spark.deploy.yarn.Client$$anonfun$createConfArchive$1.apply(Client.scala:747)
at org.apache.spark.deploy.yarn.Client$$anonfun$createConfArchive$1.apply(Client.scala:739)
at scala.Option.foreach(Option.scala:257)
at org.apache.spark.deploy.yarn.Client.createConfArchive(Client.scala:739)
at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:700)
at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:921)
at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:169)
at org.apache.spark.deploy.yarn.Client.run(Client.scala:1256)
at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1627)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:904)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
19/06/27 12:55:05 INFO util.ShutdownHookManager: Shutdown hook called
19/06/27 12:55:05 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-e20edae6-08d7-4230-a276-ca4037ea3a73
OI
вот со вторым питонов вот такая хрень
я чёт не договняю, в чём ошибка
я чёт не договняю, в чём ошибка
m
а под R есть биндинги для хадупа/спарка?
GP
а под R есть биндинги для хадупа/спарка?
есть для спарка
SB
Посмотрел сегодня Arena Data Platform. Что-то он очень затейливо разворачивается - инструкция по установке на пару десятков страниц. А есть у Arenadata какая-нибудь быстроустанавливаемая песочница, типа Hortonworks Sandbox, чтобы поиграться на мощном десктопе и не заморачиваться с разворачиванием в кластере?
A
Посмотрел сегодня Arena Data Platform. Что-то он очень затейливо разворачивается - инструкция по установке на пару десятков страниц. А есть у Arenadata какая-нибудь быстроустанавливаемая песочница, типа Hortonworks Sandbox, чтобы поиграться на мощном десктопе и не заморачиваться с разворачиванием в кластере?
А что конкретно хотите развернуть из нашего стека? Речь про Хадуп?
SB
Anton Kovalenko
А что конкретно хотите развернуть из нашего стека? Речь про Хадуп?
Больше Spark интересует