GP
тут чат не о работе, извини
Size: a a a
2021 April 27
GP
G[_[_]]
А
Привет, у кого-то была проблема при чтении данных типа timestamp из ORC-файлов в хайвовской таблице через спарк возникала ошибка java.lang.NullPointerException? Скорей всего, проблема в том, что таблица external, и в ней хранятся ORC разных версий. Если кто сталкивался с подобным, подскажите, пожалуйста, как это обойти
А
Возможно, это к делу не относится, но при чтении файлов напрямую с помощью spark.read.format("orc") схема датафрейма показывает timestamp-колонки как строки
ЕГ
Беды с таблицей
ЕГ
Кто-то руками видать альтер тейбл сделал, и данные не сконвертировал
ЕГ
Нужно найти часть данных, которая лежит в строке, отделить её от части данных, которая лежит в таймстемпе, сконвертировать первую часть в таймстемп, и юнион записать обратно в таблицу
ЕГ
Попытка выдать строку за таймстемп и приводит к нуллпоинтеру
ЕГ
Либо, если все данные в строке, то можно хайвом альтер тейбл обратно сделать
А
К сожалению, исправить данные нет возможности
ЕГ
Данные не нужно исправлять, если spark.read.orc читает нормально эти строки, то есть там не null, а дата-время, просто строкой
ЕГ
А, стоп, экстернал тэйбл
ЕГ
Переделайте просто DDL и пересоздайте экстернал таблицу
ЕГ
В таблице тип данного поля должен быть такой же, как в орке, то есть string
А
мы недавно переехали с хортонворкс на клаудеру, возможно, во время этого проблема и возникла
ЕГ
А в чём переезд заключался?
А
к сожалению, этим занимается не наша команда, мы просто делаем ETL. Вряд ли нам дадут возможность переделывать сорсные таблицы
А
Ну или это нужно эскалировать уже)
ЕГ
А создать рядом таблицу тоже нельзя?)