UD
rsync забыл
sshfs уж сразу
Size: a a a
2020 January 09
UD
Н
а можно в spark'e Dstream сохранять равномерно в небольшие файлы по 30 мб например?
AC
а можно в spark'e Dstream сохранять равномерно в небольшие файлы по 30 мб например?
В спарке один фиг микробатчами сохранять будешь. В крайнем случае можно свой синк написать и самому контролировать запись и размеры файлов при обработке каждого микробатча. Или можно взять флинк и указать максимальный размер файлов для записи :)
2020 January 10
SK
Всем доброго вечера, столкнулся с такой проблемой,
собрал кластер c yarn:
- hadoop 3.2.1
- spark без хадупа 2.4.4
- livy 0.6.0
Через spark-submit работает и jar и py файлы
Через livy scala код работает, а python выдает ‘Exception in thread "Thread-35" java.lang.NoClassDefFoundError: org/apache/spark/sql/hive/HiveContext’, может кто встречался? (На тойже сборке только хадуп 2.7 и спарк с хадупом, но без ярна все ок)
M
Судя по ошибке, возможно питон API использует хайв, нужен спарк с хадупом наверное
M
но это не точно
SK
, у меня в планах было туда hive запихнуть для использования его метостора в thrift, но saprk-submit то работатет с python и более через livy работатет scala код
JS
всем доброго вечера... у меня вопрос такой, как бы не прогнали отсюда )) но по spark )) рискну, итак:
cassandra + spark 2.4.0 и R+sparklyr (не ругайтесь, UDF не используются)
пытаюсь прочесть данные из cassandra, смотрю что в std_err у воркеров:
...
Caused by: org.apache.spark.SparkException: Exception thrown in awaitResult:
...
Caused by: java.io.IOException: Failed to connect to XXX:57465
XXX - это имя локальное моего десктопа (винда 10)
в сетке кластера спарк я через впн подключен
я правильно понимаю, что воркеры спарк пытаются поднять соединение от себя, что бы передать результаты своей работы??? извиняюсь очень за ламерство
cassandra + spark 2.4.0 и R+sparklyr (не ругайтесь, UDF не используются)
пытаюсь прочесть данные из cassandra, смотрю что в std_err у воркеров:
...
Caused by: org.apache.spark.SparkException: Exception thrown in awaitResult:
...
Caused by: java.io.IOException: Failed to connect to XXX:57465
XXX - это имя локальное моего десктопа (винда 10)
в сетке кластера спарк я через впн подключен
я правильно понимаю, что воркеры спарк пытаются поднять соединение от себя, что бы передать результаты своей работы??? извиняюсь очень за ламерство
GP
Всем доброго вечера, столкнулся с такой проблемой,
собрал кластер c yarn:
- hadoop 3.2.1
- spark без хадупа 2.4.4
- livy 0.6.0
Через spark-submit работает и jar и py файлы
Через livy scala код работает, а python выдает ‘Exception in thread "Thread-35" java.lang.NoClassDefFoundError: org/apache/spark/sql/hive/HiveContext’, может кто встречался? (На тойже сборке только хадуп 2.7 и спарк с хадупом, но без ярна все ок)
спарк-скуля наверное нет в зависимостях; оно не провайдед
JS
нет, с ним все ок, вот такое:
cass_df <- spark_session %>%
invoke("read") %>%
invoke("format", "org.apache.spark.sql.cassandra") %>%
invoke(
"options",
as.environment(
list(
...
)
)
) %>%
invoke("load") %>%
invoke("cache")
норм выполняется вроде
cass_df <- spark_session %>%
invoke("read") %>%
invoke("format", "org.apache.spark.sql.cassandra") %>%
invoke(
"options",
as.environment(
list(
...
)
)
) %>%
invoke("load") %>%
invoke("cache")
норм выполняется вроде
UD
Всем доброго вечера, столкнулся с такой проблемой,
собрал кластер c yarn:
- hadoop 3.2.1
- spark без хадупа 2.4.4
- livy 0.6.0
Через spark-submit работает и jar и py файлы
Через livy scala код работает, а python выдает ‘Exception in thread "Thread-35" java.lang.NoClassDefFoundError: org/apache/spark/sql/hive/HiveContext’, может кто встречался? (На тойже сборке только хадуп 2.7 и спарк с хадупом, но без ярна все ок)
Спарк ванильный ?
UD
Если да, забирайте патчи для третьего хадупа
GP
нет, с ним все ок, вот такое:
cass_df <- spark_session %>%
invoke("read") %>%
invoke("format", "org.apache.spark.sql.cassandra") %>%
invoke(
"options",
as.environment(
list(
...
)
)
) %>%
invoke("load") %>%
invoke("cache")
норм выполняется вроде
cass_df <- spark_session %>%
invoke("read") %>%
invoke("format", "org.apache.spark.sql.cassandra") %>%
invoke(
"options",
as.environment(
list(
...
)
)
) %>%
invoke("load") %>%
invoke("cache")
норм выполняется вроде
Когда сабмит делаешь, там не провайдед; в консоли оно есть
UD
Или палантировский возьмите
SK
Спарк ванильный ?
а что такое ванильный?😅
GP
а что такое ванильный?😅
который на гитхабе лежит
GP
не сдх/ клаудера
JS
Когда сабмит делаешь, там не провайдед; в консоли оно есть
так, а где оно увидеть?
SK
который на гитхабе лежит
сейчас попробую спасибо