ЕГ
в 1 колонке 1 row удалить во второй последний
Это называется lag
Size: a a a
2019 September 06
ЕГ
Оконная функция. Но если просто в спарке применить лаг на весь датафрейм, то будет в один поток, медленно и может упасть по памяти
OP
Оно, спасибо
OP
Это называется lag
OP
Оконная функция. Но если просто в спарке применить лаг на весь датафрейм, то будет в один поток, медленно и может упасть по памяти
ЕГ
Так что есть варик получше - построить полный индекс этого дф из одной колонки, датафрейм продублировать, в одном из датафреймов-дублей этот индекс уменьшить на 1
ЕГ
И поджойнить по индексу
ЕГ
OP
Круто, ещё раз спасибо
ЕГ
🤝
2019 September 07
C
Cyber Ghost morty has been banned! Reason: CAS ban.
2019 September 09
C
Giveaway . has been banned! Reason: CAS ban.
RI
Инженеры! Ситуация такая. Есть csv с локальной датой. Конвертирую ее в зеппелине в UTC. Написал udf простую. Но 1 csv нормально проживала, а вторую не смогла. ошибка
код udf: val toUtc = udf{(time: Timestamp, hours: Int) => new Timestamp(time.getTime + hours*60*60*1000)}
Failed to execute user defined function($anonfun$1: (timestamp, int) => timestamp), а ниже по трейсу ошибка NPE
код udf: val toUtc = udf{(time: Timestamp, hours: Int) => new Timestamp(time.getTime + hours*60*60*1000)}
ЕГ
А нафига для простого суммирования делать udf?
RI
Евгений Глотов
А нафига для простого суммирования делать udf?
подскажите иной вариант. Фактически у меня есть колонка Timestamp и колонка с диффом часов от UTC
ЕГ
Датафреймы же?
RI
ЕГ
Просто df.withColumn("time", from_unixtime(unix_timestamp(col("time"))+col("diff")))
ЕГ
А то может и попроще можно, но щас с ходу не вспомню
RI
Евгений Глотов
Просто df.withColumn("time", from_unixtime(unix_timestamp(col("time"))+col("diff")))
Спс