АК
Self-encrypt html markdown отчёты подвезли.
Size: a a a
2020 January 10
АК
По поводу OpenCPU. Приложения оформляются в виду пакетов, что не всегда удобно. Сам сервис на старте спаунит несколько процессов, поэтому он тоже как бы многопоточный.
JS
всем доброго дня, неожиданно не могу решить - как подключиться к кластеру spark из виндовой машины, делал кто-нибудь такое??
АК
всем доброго дня, неожиданно не могу решить - как подключиться к кластеру spark из виндовой машины, делал кто-нибудь такое??
Мы приветствуем первичность самостоятельного поиска решения.
JS
library(sparklyr)
if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "/usr/local/spark")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
sc <- spark_connect(master = "spark://myip:7077")
if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "/usr/local/spark")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
sc <- spark_connect(master = "spark://myip:7077")
JS
оно есть, но не работает, понятно почему, винда же, иначе не писал бы
JS
как-то зря тыкать сразу носом в лоток-то )
вдруг уже кто такое делал
вдруг уже кто такое делал
JS
Ошибка в system2(file.path(spark_home, "bin", "spark-submit"), "--version", :
'"/usr/local/spark/bin/spark-submit"' not found
ясное дело - такого нет в винде
'"/usr/local/spark/bin/spark-submit"' not found
ясное дело - такого нет в винде
JS
и тут либо забить на винду, либо кто-то делал подобное (из винды в удаленный спарк)
AS
Подключался без проблем. Что за конструкция с if и зачем она нужна не представляю.
АК
как-то зря тыкать сразу носом в лоток-то )
вдруг уже кто такое делал
вдруг уже кто такое делал
Не зря - ты не описал проблему, задаёшь мета-вопросы. Вытягивать подробности и уточнять что там конкретно и как именно не работает нет ни времени ии желания.
JS
ясно-понятно
JS
Подключался без проблем. Что за конструкция с if и зачем она нужна не представляю.
так в доках
JS
путь к библиотекам спарк на машине, откуда лезем на кластер
AS
На Винде sparklyr хватало за глаза. Никаких доп. библиотек (тем более с линукса) там не требовалось.
JS
библиотеку ставить все же надо, через spark_install(version = "2.4.0")
JS
1 раз, и потом все ок, да
JS
вот рабочий код для подключения к удаленному кластеру спарк, может кому пригодится
library(sparklyr)
spark_install(version = "SPARK-VERSION") # далее не требуется
if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "PATH-TO-LOCAL-SPARK-LIB")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
sc <- spark_connect(master = "spark://REMOTE_IP:7077")
library(sparklyr)
spark_install(version = "SPARK-VERSION") # далее не требуется
if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "PATH-TO-LOCAL-SPARK-LIB")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
sc <- spark_connect(master = "spark://REMOTE_IP:7077")
JS
к локальному спарк все тривиально, установил, подключился