DZ
И тогда если типа не будет, тупо упадет на рантайме
Size: a a a
2020 March 18
t
val df = spark.range(0,10).select(when('id === 1, lit(null)).when('id === "ololo", lit(null)).otherwise('id))
t
работает на отличненько
t
и когда id строка и когда число или чо угодно
DZ
Я придумал, напиши макрос
DZ
DZ
От силдтрейта там
K
val df = spark.range(0,10).select(when('id === 1, lit(null)).when('id === "ololo", lit(null)).otherwise('id))
над глянуть
K
как будет
K
если типа много колонок
2020 March 19
N
Всем привет. Не сталкивались ли с проблемой, что Spark UI отображает неверное количество строк в "number of output rows"? Кейс по сути очень простой, читаю данные из рел. базы и пишу в паркет. В паркете лежит ровно то количество строк, которое и должно быть(и не совпадает с тем, что в UI). Версия спарка 2.3.3
ИК
Всем привет. Не сталкивались ли с проблемой, что Spark UI отображает неверное количество строк в "number of output rows"? Кейс по сути очень простой, читаю данные из рел. базы и пишу в паркет. В паркете лежит ровно то количество строк, которое и должно быть(и не совпадает с тем, что в UI). Версия спарка 2.3.3
Если были failed tasks, то это норм. Аккумулятор считает все подряд: успешные и неудачные попытки
N
Если были failed tasks, то это норм. Аккумулятор считает все подряд: успешные и неудачные попытки
Понял, спасибо, посмотрю
2020 March 20
☭S
Понял, спасибо, посмотрю
+ проверь, не вызывается ли инкремент аккумулятора по несколько раз
РП
Коллеги. Подскажите плз. По какой причине Спарк иногда ругается "Table or view not found: <table>" если я пишу ее write.mode('append').format('orc').saveAsTable(<table>)
РП
Если таблицы нет. Он же ее создать должен. И создавал...
РП
А сейчас упорно (упорото) не хочет)
R
а если попробовать
spark.sql("REFRESH <table name>") сделать перед операцией записи?РП
а если попробовать
spark.sql("REFRESH <table name>") сделать перед операцией записи?попробую
R
если таблица в текущей сессии менялась/удалялась полностью и перезаписывалась, то метастор теряет инфу о файлах и может выдавать такую ошибку