Size: a a a

2017 May 29

GP

Grigory Pomadchin in Data Engineers
Тяжело сказать где, рдд ленивы же.
источник

AM

Aleksander Melnichnikov in Data Engineers
А ну да, тогда неудивительно почему падает =)
источник

AM

Aleksander Melnichnikov in Data Engineers
ὦan
я так понимаю после этой строки
Да добавь к ней то, что я написал
источник

ὦan in Data Engineers
ratings_raw_RDD = self.sc.textFile(ratings_file_path).sample(0.1, false)
источник

ὦan in Data Engineers
правильно?
источник

AM

Aleksander Melnichnikov in Data Engineers
Вроде да, я наизусть не помню порядок аргументов
источник

AM

Aleksander Melnichnikov in Data Engineers
К сожалению
источник

ὦan in Data Engineers
вопрос
источник

ὦan in Data Engineers
в start server есть —master spark://169.254.206.2:7077
источник

ὦan in Data Engineers
в нее можно запихать локалхост?
источник

ὦan in Data Engineers
Потому что я жопой чувствую, что сначала нужно выполнить start_server.sh
источник

ὦan in Data Engineers
А потом уже python server.py
источник

AM

Aleksander Melnichnikov in Data Engineers
new SparkConf()
     .setAppName("app")
     .setMaster("local[*]")
источник

AM

Aleksander Melnichnikov in Data Engineers
я вот так мастер настраиваю на локалхост
источник

ὦan in Data Engineers
Хм
источник

AM

Aleksander Melnichnikov in Data Engineers
не знаю насчет этого скриптика конечно, синтаксис может отличаться
источник

ὦan in Data Engineers
Вопрос в скрипте валяется
~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master spark://169.254.206.2:7077 --total-executor-cores 14 --executor-memory 8g server.py 

Соотвественно, раз в сервере.py я не вижу ничего, чтобы вызывало это скрипт, то я должен его сам поднять
источник

ὦan in Data Engineers
бля как же сложно быть тупым в новой технологии
источник

AM

Aleksander Melnichnikov in Data Engineers
Да не парься, это только сложно развернуть. Всегда так с начала
источник

ὦan in Data Engineers
Да с радостью. Курсовую через два дня сдавать. А я спарк поднять не могу
источник