ММ
Если кастовали к int, то это ведь не int
Size: a a a
2021 September 08
KR
.cast(FloatType)
R
не все стринги были числами?
KR
Там кроме значений 0,00 и 1,00 ничего нет
PF
Возможно, дело в запятых. Десятичные числа отделяются точкой
KR
Да, вы правы
Уже заменил запятые на точки и Кастанул
Спасибо!
Уже заменил запятые на точки и Кастанул
Спасибо!
PF
SI
Spark 3 — кто научился писать в кассандру быстрее чем стандартный datastax коннектор? Используя SSTables а не bulk write
2021 September 09
KR
val df = sql(s“””
select ${calc_day_in_year($”openday”)} from date
“””)
Что я по синтаксису делаю не так?
Пытаюсь использовать udf функцию внутри запроса
Undefined function calc_day_UDF
select ${calc_day_in_year($”openday”)} from date
“””)
Что я по синтаксису делаю не так?
Пытаюсь использовать udf функцию внутри запроса
Undefined function calc_day_UDF
ЕГ
А ты зарегистрировал её?
KR
Конечно
ЕГ
Чтоб в sql использовать, надо регистрировать, не проще будет написать spark.table(...).select(...)?
ЕГ
И меньше будет кавычек и долларов
KR
a.select(calc_day_UDF(year($”openday”))).show()
KR
Вот так работает
ЕГ
Делал spark.udf.register?
KR
Нет, я думал, что если я создаю udf это и есть регистрация
KR
Это один из десятка селектов, поэтому его отдельно делать не хотелось бы
ЕГ
Ну тогда регистер и вперёд
KR
val df = sql(s“””
select calc_day_in_UDF(year(openday)) from date
“””)
После регистрации отработало вот так, без ковычек и всего прочего
Изначально я его регистрировал как udf()
Не знал, что разными способами надо
select calc_day_in_UDF(year(openday)) from date
“””)
После регистрации отработало вот так, без ковычек и всего прочего
Изначально я его регистрировал как udf()
Не знал, что разными способами надо