ЕГ
Не, вроде нету попроще
from_unixtime(col("time").cast("long") + (col("diff") * lit(60*60) )))Size: a a a
2019 September 09
RI
в итоге получилось так
M
Здравствуйте, немного специфический вопрос: пробовал ли кто-нибудь коннектиться к Oozie из Hive Hook через Kerberos?
ЕГ
в итоге получилось так
from_unixtime(col("time").cast("long") + (col("diff") * lit(60*60) )))Вместо каст лонг лучше всё-таки использовать unix_timestamp
RI
Евгений Глотов
Вместо каст лонг лучше всё-таки использовать unix_timestamp
можно разъяснить? Тут беда в том, что спарк не захотел прибавлять Int к Timestamp
ЕГ
Юникс таймстемп - это тот самый таймстемп в лонге, который означает количество секунд с начала времён
ЕГ
К нему можно прибавить
RI
Евгений Глотов
Юникс таймстемп - это тот самый таймстемп в лонге, который означает количество секунд с начала времён
Спс
ЕГ
👍
NT
я из команды автора Kylo, там все вокруг NiFi, могу рассказать ужасов
Антон, можешь рассказать - в Kylo есть жизнь? Раньше раз в месяц релиз был, сейчас полгода тишина...
AZ
Антон, можешь рассказать - в Kylo есть жизнь? Раньше раз в месяц релиз был, сейчас полгода тишина...
Мы сопровождаем несколько клиентов, но в целом большинство пользователей moved on
NT
Ок. А куда в основном?
ПБ
{rm_url}/ui2/index.html#/yarn-queues/root
или
{rm_url}/cluster/scheduler
на ресурсменеджере и посмотри как очереди распределены и заполнены
или
{rm_url}/cluster/scheduler
на ресурсменеджере и посмотри как очереди распределены и заполнены
/yarn
2019 September 10
OI
Привет) вопрос про хайв.
Можно ли туда вкорячить партиции по timestamp, а не по строке?
Можно ли туда вкорячить партиции по timestamp, а не по строке?
A
ну если сделать round до какого-то уровня
если просто timestamp то будет оооочень много партиций
если просто timestamp то будет оооочень много партиций
OI
не, ну там технический timestamp, по сути будет 1 партиция в день
можно сказать, date
можно сказать, date
OI
я имею ввиду partition by (ts timestamp) чёт не работает
ИШ
Можно
ИШ
Привет
ИШ
partition(datelocal='${hiveconf:datelocal}')