странный метод тестирования

тестить надо сразу на базе которую будете потом брать

Вечер в хату, два дня назад "стал" инженегром в бигдата проекте  :) посоветуйте книги-видео, где галопом по Европам о стеке поглядеть?

Яндекс

Без приколов. А как ты "стал" инженером в бигдата не зная даже о стеке?

перешёл на проект, в саппорт

на пороге только то, знаю ли я линукс спросили

Сбербанк что-ли?

Упоительно

этого достаточно 🙂

хуже/лучше

Так говорите будто это что-то плохое. Если есть голова, то любой стек раскурить можно

В Сбере такой низкий порог входа, или я не вкурил шутки?

пандус

ямка

Сап чат. Вопрос - как при касте DataFrame ->  Dataset делать подвыборку полей?
Скажем, я делаю:

case class TransactionTest(id: Long, time: String, value: String)

val transactionDS = spark.sparkContext.parallelize(Seq(
  (1,"t1","v1","av1"),
  (2,"t1","v1","av2"),
  (3,"t3","v1","av1")
)).toDF("id","time","value","another_value").as[TransactionTest]

Но на выходе последнее поле все равно сохраняется:

transactionDS.show

Дает:

+---+----+-----+-------------+
| id|time|value|another_value|
+---+----+-----+-------------+
|  1|  t1|   v1|          av1|
|  2|  t1|   v1|          av2|
|  3|  t3|   v1|          av1|
+---+----+-----+-------------+

Хотелось бы чтобы .as каст отсекал ненужные поля - как это правильно сделать?

case class TransactionTest(id: Long, time: String, value: String)

val transactionDS = spark.sparkContext.parallelize(Seq(
  (1,"t1","v1","av1"),
  (2,"t1","v1","av2"),
  (3,"t3","v1","av1")
)).toDF("id","time","value","another_value").as[TransactionTest]

transactionDS.show

+---+----+-----+-------------+
| id|time|value|another_value|
+---+----+-----+-------------+
|  1|  t1|   v1|          av1|
|  2|  t1|   v1|          av2|
|  3|  t3|   v1|          av1|
+---+----+-----+-------------+

Note that as[] only changes the view of the data that is passed into typed operations, such as map(), and does not eagerly project away any columns that are not present in the specified class.
Сначала явно выбрать поля придется. Альтернатива приводить явно в map() , но это же не то, что нужно.

а если через  энкодеры попробовать? https://spark.apache.org/docs/2.1.2/api/java/org/apache/spark/sql/Encoders.html#product(scala.reflect.api.TypeTags.TypeTag)

val encoder =Encoders.product[TransactionTest]
......
toDF("id","time","value","another_value").as(encoder)

val encoder =Encoders.product[TransactionTest]
......
toDF("id","time","value","another_value").as(encoder)

Пробовал, эффект то же - поля остаются