KR
Спасибо большое!
Size: a a a
2021 September 09
ЕГ
Не за что)
KR
spark sql не воспринимает спец символы в названии полей
dep#balance не принимает, так же и с ост символами
Это можно как-то обойти?
Если окружить ковычками, то переводит к стрингу
dep#balance не принимает, так же и с ост символами
Это можно как-то обойти?
Если окружить ковычками, то переводит к стрингу
PF
` (backtick)
YG
Привет всем, кто то может поделиться решениями по логированию юпитерхаба? Чем читать, отправлять, хранить удобно?
ММ
2021 September 10
N
Слушайте, у меня даунский вопрос. А что будет происходить, если я попытаюсь df привести к датасету и укажу кейс-класс, у которого полей больше, чем есть в df?
Ну типа в df (col1 String, col2 Int),
а кейс-класс case class Ololo (col1: String , col2: Int, col3: Option[Int]).
Получится датасет, у объектов которого в col3 будет пустота?
Ну типа в df (col1 String, col2 Int),
а кейс-класс case class Ololo (col1: String , col2: Int, col3: Option[Int]).
Получится датасет, у объектов которого в col3 будет пустота?
☭S
Будет ошибка. Нужно, чтобы схема df совпадала с case class. Либо добавьте через withColumn, либо, если это чтение из источника - задавайте схему
☭S
val schema = Encoders.product[Ololo].schema
spark.read.schema(schema).json("/xxx.json").as[Ololo]
spark.read.schema(schema).json("/xxx.json").as[Ololo]
AB
Как вариант если последние поля опш то может прокатить но надо тесть, точно сказать не могу
2021 September 13
KR
SQL(“””
SELECT
(
Select
(
select max(col1) from hist h2
where h1.col1 = h2.col1
)
From hist h1
where h1.col1 = oper1.col1
and h1.col2 <= (
Select max(oper2.col3) from t1 oper2
Where oper2.col1=oper1.col1 /*не находит oper1.col1*/
)
)
From
t1 oper1
“””)
SELECT
(
Select
(
select max(col1) from hist h2
where h1.col1 = h2.col1
)
From hist h1
where h1.col1 = oper1.col1
and h1.col2 <= (
Select max(oper2.col3) from t1 oper2
Where oper2.col1=oper1.col1 /*не находит oper1.col1*/
)
)
From
t1 oper1
“””)
KR
Подскажите, пожалуйста, почему не видит таблицу в подзапрос?
Указал место, где таблицу недоступна в коде
Указал место, где таблицу недоступна в коде
ПФ
ПФ
Потому что ссылаешься на внешнюю таблицу из внутренней
KR
Писал код с руки, корЯво вышло😅
KR
А как быть в данной ситуации?
KR
Аналогичный запрос в sql работает
ПФ
Не знаю, решения есть скорее всего разные, например использовать cte или lateral join
ПФ
А мы что видим, не sql?