Телеграмм чат группы hadoopusers страница 3093

Size: a a a

Data Engineers

2020 December 24

Да, у меня при вот таком коде:

df.write
      .format("orc")
      .mode(SaveMode.Append)
      .save(tablePath)

выдавало вот такую ошибку

The format of the existing table ******************** `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;

источник

10:55пожаловаться #1

Alexandr Myshansky in Data Engineers

при том что в Hive таблица зарегистрирована в формате ORC

источник

10:55пожаловаться #2

Nurdinov Denis in Data Engineers

Спасибо) Учту)

источник

11:01пожаловаться #3

Ruslan515 Y in Data Engineers

Добрый день. Пытаюсь считать из cassandra одну из таблиц, но при этом возникает ошибка: cassandra.DriverException: Failed decoding result column "ready_time" of type timestamp: date value out of range. Как я понимаю в одной из строк таблицы в поле "ready_time" не корректное значение и в связи с этим не может произвести считывание далее. Пробовал try-except воткнуть в цикл:

rows = session.execute(query, timeout=50)
for i, user_row in enumerate(rows):
    try:
        print(user_row)
        print('line = {}.'.format(i))
    except:
        print('Error in ', i)

источник

11:20пожаловаться #4

Ruslan515 Y in Data Engineers

как это обойти?

источник

11:20пожаловаться #5

Sergey Sheremeta in Data Engineers

коллеги, а как вы читаете spark-ом из Hive ACID таблиц?

источник

19:41пожаловаться #6

2020 December 25

Сюткин in Data Engineers