поддержи автора лучше

Ок

Это да. Если нравится книга, то поддержка автора работает как мотивация продолжать.

А как часто проводятся митапы?

По статистике 3 раза в год

А есть ли способ перехватить sigterm в драйвере или каким либо чудом выгрузить куда нибудь бродкаст переменные при прерывании StreamingContext? Или после awaitTermination еще есть доступ к sc и его бродкаст переменным ?)

Думаю, да. Это же jvm app. SignalHandler должен помочь.

Но возможно в самом спарке есть listner для этого (там их до черта, в API).

Народ. Образовалась такая проблема:
1. Читаю данные из AVRO файла dataframe
2. Делаю Cast преобразование для поля Long в timestamp
3. Пишу полученый dataframe в формате orc в другую папку.
4. Сравниваю timestamp в исходном dataframe и в полученном и они расходятся на доли секунд (в полученом на доли секунд больше

val df_avro = spark.read.format("com.databricks.spark.avro").load("/data")
val df_avro1 = df_avro.withColumn("UPDATE_DT", (df_avro("UPDATE_DT") / 1000).cast("timestamp"))
df_avro1.repartition(1).write.mode("overwrite").format("orc").option("compression", "snappy").save("/data/tmp")
val df_orc = spark.read.format("orc").load("/data/tmp")

df_avro.withColumn("UPDATE_DT", (df_avro("UPDATE_DT") / 1000).cast("timestamp")).select("*").where ("ID=1").show(10,false)
df_orc.select("*").where ("ID=1").show(10,false)
+--------+-----------------------+
|ID      |      UPDATE_DT        |
+--------+-----------------------+
|1       |2017-01-07 21:35:24.538|
+--------+-----------------------+

+--------+-----------------------+
|ID      |      UPDATE_DT        |
+--------+-----------------------+
|1       |2017-01-07 21:35:25.076|
+--------+-----------------------+

Забавно

Даже не знаю что сказать) что-то не сходится)

если воспроизводимый пример будет, то можно будет посмотреть в чем дело

Исходное значение: 1483814124538

т.е. первый результат корректный. Что происходит когда я этот dataframe записываю - загадка

Похоже из-за каста во флоат

Было бы так ладно но каст то уже сделан и я просто его записываю.

может план посмотреть?

А что, можно посмотреть план запси ?

explain(true)