AS
В тулбаре в IDEA есть кнопка, которая ведёт в настройки модуля, куда можно добавить недостающие зависимости, которые не удалось синхронизировать автоматически из цеппелина
а где эта волшебная кнопка, мне каждый jar добавлять руками?
Size: a a a
2020 May 08
NA
всем привет
NA
на скриншоте плюсик справа от зависимостей
NA
Если один раз зависимость добавили для коннекшена, то она сохранится. Она сохранится для пары коннекшен, проект
AS
спасибо, сработало!
AS
но все равно было бы неплохо если spark.jars.packages хотя бы синхронизировались
VK
но все равно было бы неплохо если spark.jars.packages хотя бы синхронизировались
Подумаем, как все можно улучшить
DC
Подскажите, в спраке ловлю ошибку
При этом, когда смотрю на схему - нужную колнку вижу. Дату читаю из csv.
Куда смотреть - схеам выглядит валидной
Полный код https://stackoverflow.com/questions/61678952/scala-spark-error-java-lang-illegalargumentexception-field-col1-does-not-exi
java.lang.IllegalArgumentException: Field "col1" does not exist когда создаю пайплайн и пытаюсь зафитить дату.При этом, когда смотрю на схему - нужную колнку вижу. Дату читаю из csv.
val data = this.spark.read
.format("csv")
.option("header", "true")
.option("mode", "DROPMALFORMED")
.load(this.taskConfig.training.db + this.taskConfig.training.table)
Куда смотреть - схеам выглядит валидной
Полный код https://stackoverflow.com/questions/61678952/scala-spark-error-java-lang-illegalargumentexception-field-col1-does-not-exi
R
Какой разделитель колонок в csv? Не таб случаем?
DC
Какой разделитель колонок в csv? Не таб случаем?
Таб, да
R
Надо явно указать, когда читаешь, разделитель таб
R
Из твоего стэковерфлоу:
Array(StructField(col1 col2 col3 ...)
Array(StructField(col1 col2 col3 ...)
R
Все колонки в одной
2020 May 09
DC
Надо явно указать, когда читаешь, разделитель таб
Ага, помогло, но другая ошибка возникла Exception in thread "main" java.lang.IllegalArgumentException: Data type StringType is not supported.
2020 May 11
AS
вопрос: а как сохранить посчитанную svd на диск и потом загрузить обратно?
OI
вопрос: а как сохранить посчитанную svd на диск и потом загрузить обратно?
А в каком виде она посчиталась? RDD / DF?
AS
А в каком виде она посчиталась? RDD / DF?
org.apache.spark.mllib.linalg.SingularValueDecomposition[org.apache.spark.mllib.linalg.distributed.RowMatrix,org.apache.spark.mllib.linalg.Matrix]
видимо rdd
видимо rdd
OI
org.apache.spark.mllib.linalg.SingularValueDecomposition[org.apache.spark.mllib.linalg.distributed.RowMatrix,org.apache.spark.mllib.linalg.Matrix]
видимо rdd
видимо rdd
Если RDD, то просто persist() со StorageLevel DISK_ONLY.