Добрый день. Коллеги, никто не сталкивался с подобной проблемой?
В parquet-файле появились странные файлики, состоящие только из текста "PAR1" ( больше ничего нет).
Сам parquet - external table для hive/impala. Отдельные партиции, в которых этих файликов нет, читаются в impala нормально, те, в которых они есть - валятся с ошибкой - TFetchResultsResp(status=TStatus(errorCode=None, errorMessage='Parquet file <SOME_NAME>snappy.parquet has an invalid file length: 4\n', sqlState='HY000', infoMessages=None, statusCode=3), results=None,
Коллеги утверждают, что проблема появилась после выполнения recover partitions.
Может быть посоветуете какую-то утилиту, которая чистит parquet от невалидных блоков?