GP
Тяжело сказать где, рдд ленивы же.
Size: a a a
2017 May 29
AM
А ну да, тогда неудивительно почему падает =)
AM
ὦan
я так понимаю после этой строки
Да добавь к ней то, что я написал
ὦ
ratings_raw_RDD = self.sc.textFile(ratings_file_path).sample(0.1, false)
ὦ
правильно?
AM
Вроде да, я наизусть не помню порядок аргументов
AM
К сожалению
ὦ
вопрос
ὦ
в start server есть —master spark://169.254.206.2:7077
ὦ
в нее можно запихать локалхост?
ὦ
Потому что я жопой чувствую, что сначала нужно выполнить start_server.sh
ὦ
А потом уже python server.py
AM
new SparkConf()
.setAppName("app")
.setMaster("local[*]")
.setAppName("app")
.setMaster("local[*]")
AM
я вот так мастер настраиваю на локалхост
ὦ
Хм
AM
не знаю насчет этого скриптика конечно, синтаксис может отличаться
ὦ
Вопрос в скрипте валяется
Соотвественно, раз в сервере.py я не вижу ничего, чтобы вызывало это скрипт, то я должен его сам поднять
~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master spark://169.254.206.2:7077 --total-executor-cores 14 --executor-memory 8g server.py
Соотвественно, раз в сервере.py я не вижу ничего, чтобы вызывало это скрипт, то я должен его сам поднять
ὦ
бля как же сложно быть тупым в новой технологии
AM
Да не парься, это только сложно развернуть. Всегда так с начала
ὦ
Да с радостью. Курсовую через два дня сдавать. А я спарк поднять не могу