Привет.

Читаю коллекцию из mongodb, столкнулся со следующим случаем

com.mongodb.spark.exceptions.MongoTypeConversionException:

Cannot cast DATE_TIME into a StructType(StructField($date,StringType,true)) (value: BsonDateTime{value=1516911000777})

Схема выглядит вот так

     .add("_id", StringType)
//      .add("created", (new StructType)
//        .add("$date", StringType))
     .add("modified", (new StructType)
       .add("""$date""", StringType))

В базе так:

       "_id": "1000025",
 "created": {
   "$date": "2018-01-14T23:52:36.329Z"
 },
 "modified": {
   "$date": "2018-01-19T04:00:35.603Z"
 },


Как принять этот тип?
Спасибо.

а если не секрет, какой у вас юзкейс? какая цель дергать монгу спарком?

bi ( + eda ,отчасти )

Мы из Spark (2.1.0) отправляем messages в Kafka, нам надо что бы был delay 10 s каждые 1000 messages, как это сделать ? либо как лучше гуглить ? :)

Спарк обычный или стриминг? Странный кейс

А откуда вот эти 10 секунд?)
Из хайва стриминг - очень странно) гонять фулсканы ради дифов

читать string а потом явно кастить функцией to_date с соответствующим форматом https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-functions-datetime.html#to_date

К-сожалению, так тоже не отдает

org.apache.spark.sql.AnalysisException: cannot resolve 'CAST(test.`modified` AS DATE)' due to data type mismatch: cannot cast struct<$date:string> to date

Доброго времени суток.

Дано: кластер hadoop на базе Cloudera 6, отдельный сервер с бизнес-приложением

Задача: смонтировать HDFS в локальную файловую систему отдельного сервера (AIX) таким образом, чтобы в точке монтирования оказалась нужная поддиректория HDFS. Конечному пользователю необходимы права для записи файлов в HDFS через эту точку монтирования.

Решение: используя инструмент NFS Gateway HDFS монтируется полностью на целевом сервере, создается symlink на нужную поддиректорию, создается user для записи в эту папку как на целевом сервере, так и на серверах кластера. Настраивается user mapping на NFS Gateway. Конечный пользователь использует созданного user и работает с директорией через symlink.

Вопрос: На сколько верно такое решение? Возможно есть более правильные реализации?
Заранее спасибо за комментарии.

а как строчку он показывает в датафрейме этот атрибут? просто df.show()

В том-то и дело, что никак.

С самописной схемой где дата заводится как String - отдает ошибку, вот так:

com.mongodb.spark.exceptions.MongoTypeConversionException: Cannot cast DATE_TIME into a StructType(StructField($date,StringType,true)) (value: BsonDateTime{value=1516911000777})

Без схемы, при любом количестве сэпмлов ( пробовал доводить до 500k ), отдает следующую ошибку:

WARN MongoInferSchema: Field 'field' contains conflicting types converting to StringType

Приводил так:

val resDf = spark.sql("select to_date(modified) from test")

и так:

df.withColumn("modified", to_date($modified)).createOrReplaceTempView "test"