AP
Привет всем, может кто знает как спарком (просто спарк, стоит не на кластере, hdfs как бэ нет) записать dataframe данные в s3 (но это не aws) совместимое хранилище? Конкретно не получается переопределить endpoint
Size: a a a
2020 October 29
DZ
Берешь
DZ
И пишешь
DZ
Какая ошибка? Что делали уже?
ME
Привет всем, может кто знает как спарком (просто спарк, стоит не на кластере, hdfs как бэ нет) записать dataframe данные в s3 (но это не aws) совместимое хранилище? Конкретно не получается переопределить endpoint
почему не получается? Через property спокойно переопределяется.
Покажите как это делаете
Покажите как это делаете
AP
почему не получается? Через property спокойно переопределяется.
Покажите как это делаете
Покажите как это делаете
spark.sparkContext.hadoopConfiguration.set("spark.hadoop.fs.s3a.endpoint" ,"https://ololo.ru")
spark.sparkContext.hadoopConfiguration.set("fs.s3a.endpoint", "https://ololo.ru")AP
spark.sparkContext.hadoopConfiguration.set("spark.hadoop.fs.s3a.endpoint" ,"https://ololo.ru")
spark.sparkContext.hadoopConfiguration.set("fs.s3a.endpoint", "https://ololo.ru")https://<имя бакета>.s3.amazonaws.com - оно вот по такому адресу пытается обратитьсяАЖ
Привет всем, может кто знает как спарком (просто спарк, стоит не на кластере, hdfs как бэ нет) записать dataframe данные в s3 (но это не aws) совместимое хранилище? Конкретно не получается переопределить endpoint
Ну а типа
--conf spark.hadoop.fs.s3a.endpoint=https://minio-s3 \
--conf spark.hadoop.fs.s3a.secret.key=$SECRET_KEY \
--conf spark.hadoop.fs.s3a.access.key=$ACCESS_KEY
--conf spark.hadoop.fs.s3a.endpoint=https://minio-s3 \
--conf spark.hadoop.fs.s3a.secret.key=$SECRET_KEY \
--conf spark.hadoop.fs.s3a.access.key=$ACCESS_KEY
АЖ
https://<имя бакета>.s3.amazonaws.com - оно вот по такому адресу пытается обратитьсяВроде это норма
АЖ
А, типа на амазон ломицо
AP
Ну а типа
--conf spark.hadoop.fs.s3a.endpoint=https://minio-s3 \
--conf spark.hadoop.fs.s3a.secret.key=$SECRET_KEY \
--conf spark.hadoop.fs.s3a.access.key=$ACCESS_KEY
--conf spark.hadoop.fs.s3a.endpoint=https://minio-s3 \
--conf spark.hadoop.fs.s3a.secret.key=$SECRET_KEY \
--conf spark.hadoop.fs.s3a.access.key=$ACCESS_KEY
пробовал чет не помогло =\
АЖ
Аааа
АЖ
Хадуп не 2.7?
AP
разыне пробовал, а какой рабочий варик? У меня ща оно не на hadoop кластере так что могу подкрутить какой надо
АЖ
В 2.8.2 и выше работало у меня, в 2.7 нишмагло
AP
хм ща попробую
2020 October 30
AS
в доке яндекса без указания протокола
sc.hadoopConfiguration.set("fs.s3a.endpoint", "storage.yandexcloud.net")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "storage.yandexcloud.net")
AP
в доке яндекса без указания протокола
sc.hadoopConfiguration.set("fs.s3a.endpoint", "storage.yandexcloud.net")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "storage.yandexcloud.net")
короче получилось только так:
ща прочекаю что там с версиями тоже отпишусь
sc.hadoopConfiguration.set("fs.s3a.endpoint", "
sc.hadoopConfiguration.set("fs.s3a.access.key",
sc.hadoopConfiguration.set("fs.s3a.secret.key",ща прочекаю что там с версиями тоже отпишусь
AP
в доке яндекса без указания протокола
sc.hadoopConfiguration.set("fs.s3a.endpoint", "storage.yandexcloud.net")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "storage.yandexcloud.net")
а можешь ссылку дать?
https://www.scaleway.com/en/docs/query-data-on-s3-using-apache-spark-with-hadoop/
я по этому ману смог
https://www.scaleway.com/en/docs/query-data-on-s3-using-apache-spark-with-hadoop/
я по этому ману смог
AS
а можешь ссылку дать?
https://www.scaleway.com/en/docs/query-data-on-s3-using-apache-spark-with-hadoop/
я по этому ману смог
https://www.scaleway.com/en/docs/query-data-on-s3-using-apache-spark-with-hadoop/
я по этому ману смог
