GP
.set в джаве / скале
Size: a a a
2017 May 29
ὦ
сейчас заново запушу
AM
new SparkConf()
.setAppName("app")
.setExecutorEnv("spark.executor.memory", "10g") -вот так у меня в скале на тесте.
.setAppName("app")
.setExecutorEnv("spark.executor.memory", "10g") -вот так у меня в скале на тесте.
ὦ
так опять с хипом свалился
ὦ
сейчас дам 10g
AM
А у меня тоже вопрос есть =)) А тут кто-нибудь на спарке занимается кластеризацией временных рядов?
ὦ
бля снова упал
AM
Печаль. А в какой момент падает? Когда над rdd преобразования делает?
ὦ
Да
AM
Есть вариант ограничить rdd функцией sample
ὦ
AM
ну mkstring - это затратная походу операция
AM
тебе бы ее на кластере выполнять, нужен хип огого
AM
на первом этапе, где он рдд грузит, добавь вызов .sample(0.1, false)
AM
он возьмет 10 процентов рдд
ὦ
осталось найти место первого этапа
ὦ
ὦ
я так понимаю после этой строки
GP
ну mkstring - это затратная походу операция
Это редьюс на драйвер