Лисп возьмите уже и не мучайтесь

чё-то я ума не приложу, каким магическим образом лисп решает проблему появления схемы из ниоткуда. тупой, наверное.

Вы можете делать валидацию в любой момент: на стадии разработки против статического словаря, на этапе деплоя, в рантайме; через destructuring у вас могут быть ослабленные правила которые касаются только какого-то конкретного поля или элемента коллекции
Возможности безграничны)

а есть реализация на лиспе? интересно)

Реализация чего?

на Лиспе

Я понял что на лиспе, реализацию чего вы спрашиваете?

Лиспа

Конечно, любой лисп написан на лиспе

Вот и разобрались

.

Привет! Ещё вопрос по scala: как кастонуть все столбцы датафрейма типа date, например в стринг, оставив остальные типы столбцов без изменения. Сложность в том, что я хочу автоматизировать весь процесс и мне не подходит вариант с тем чтобы выполнять withColumn для каждого столбца, обращаясь к нему по имени. Я пробую так:

val new_df = df.select(df.columns.map(c=>col(c).cast(StringType):_*)

Это работает, но изменяет типы всех столбцов.

Не понимаю как кастовать не все поля, а только с типом даты и при этом оставить все остальные поля без изменения типа?

Подскажите приём пожалуйста.

бери схему, а не просто колонки: df.schema.fields.map{field => if (field.dataType == DateType) col(field.name).cast(StringType) else col(field.name) }

Что значит не подходит

Выбираешь всё столбцы с нужным типом и кастуешь

Сложность у меня в том, что остальные столбцы как сохранить в датафрейме.

Ещё бы вот можно было вместо "df" изнутри селекта использовать функцию, возвращающую схему)

Сейчас попробую, спасибо!

да, неплохо. Имплисит можно такой написать

А можно вот как-нибудь в spark.sql.functions😆