Но статистика у нас такая, 1 из 50

Коллеги, кто-нибуль развертывал Hadoop стек в наших российских облачных сервисах? Что-то мне опасливо разворачивать новый проект на Amazon или Google Cloud в свете всех этих торговых войн и ситуации с Huawei. Смотрел в сторону Яндекс.Облака, но жутко раздражает их аляповый дизайн. Через 10 минут на их сайте глаза начинают кровоточить. А как они в деле (соотношение цена/качество), может кто пробовал?

Ещё есть техносерв клауд, аренадата)

Думаю не стоит :)

Ну так Google Cloud тоже может уничтожить ваши данные, если ему что-то покажется подозрительным - https://habr.com/ru/post/417377/

А юрлицо в россии?

Просто если нет, то нафиг связываться с российскими сервисами

Так ведь десятки их, в чем проблема?

Хотелось бы сразу в удобном и не сильно дорогом сервисе разместиться, а не пробовать по очереди все, какие есть 🙂. Какой-нибудь порекомендуете?

Google cloud or AWS

Всем привет. Пытаюсь мокнуть тест с записью в S3 из спарка, и тут набрел на прикол.
В качестве мока взял s3 mock от findify, сервер стартует в начале тестов вот так:

val endpoint = new EndpointConfiguration("http://127.0.0.1:8001", "eu-central-1")

s3Client = AmazonS3ClientBuilder
    .standard
    .withEndpointConfiguration(endpoint)
    .withPathStyleAccessEnabled(false)
    .withCredentials(new AWSStaticCredentialsProvider(new AnonymousAWSCredentials()))
    .build
s3Client.createBucket("flux-local-dev")
super.beforeEach()

В параметрах спарка прописываю:

sp

ark = SparkSession.builder()
    .appName("unit-test")
    .master("local[2]")
    .config("spark.sql.warehouse.dir", "target/spark-warehouse")
    .config("spark.hadoop.fs.s3a.endpoint", "http://127.0.0.1:8001")
    .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
    .config("spark.hadoop.fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider<")
    .getOrCreate

В тесте нормально запускается сервер, спарк стартует ОК, но при попытке записаться получаем:

Unab

le to load AWS credentials from any provider in the chain: [BasicAWSCredentialsProvider: Access key or secret key is null, com.amazonaws.auth.InstanceProfileCredentialsProvider@6a26eee6: Unable to load credentials from service endpoint]

Ка

к с этим жить вообще? Вроде подсунул же параметр по анонимной авторизации(

нашел. воистину, опенсорс - это сам себе злобный буратино - в версии 2.6.0 hadoop-aws это не работает, а в версии 2.8.5 - работает.
на будущее для нуждающихся https://stackoverflow.com/questions/31496152/access-public-available-amazon-s3-file-from-apache-spark

То есть если бы были закрытые сорцы то ты бы даже и не представлял где и почему упало

Шикарное чувство смотреть в сишные дампы hdfs от mapr.

Были бы закрытые сорцы - можно вендора трясти «а чего не работает нам обещали космолёт» 😂

А будет кто на дататолке сегодня , там места есть ещё ?

я планировал пойти

похоже не пойду 🙁

если есть возможность передать свое место, то я бы передал