AZ
Зато 100!
И есть между ними FastEthernet
Size: a a a
2021 March 19
VS
у кого-то 10 машин на 64 ядра и 256 оперативки с дисками на 40 Тб, а у кого-то 100 на 4 ядра и 16 оперативки и дисками по 2 Тб
а у кого-то 100 машин, как у кого-то 10...
АЖ
а у кого-то 100 машин, как у кого-то 10...
и даже жирнее!
АЖ
И есть между ними FastEthernet
ну, кстати, в одном телекоме видел кластер хадуп в дцать машин 8/16, но с кучей дисков и быстрой сетью, типа под терадату
ME
у кого-то 10 машин на 64 ядра и 256 оперативки с дисками на 40 Тб, а у кого-то 100 на 4 ядра и 16 оперативки и дисками по 2 Тб
Суммарным
N
Кто знает, что это за дичь?
N
такое возникает при чтении партиции целиком. если я ему скажу зачитать конкретно этот файл, то все будет без ошибок.
ЕГ
такое возникает при чтении партиции целиком. если я ему скажу зачитать конкретно этот файл, то все будет без ошибок.
А партицию в несколько этапов записывали?
N
я хз, ее hudi-фреймворк пишет.
ЕГ
Может быть так, что например в первом файле колонка инт, а во втором децимал, или стринг, или что-то вроде того
ЕГ
Он схему из первого файла получил, но считать по ней не может, так как каст некастуемых типов не проходит
N
merge_schema написать?
ЕГ
Как минимум проверить схему в каждом файле
ЕГ
Если есть несостыковки, то это хреново
ЕГ
В плане процесса, который их создаёт
ЕГ
Лучше не городить костыли со считыванием, а пересоздать с единой конечной схемой
AZ
такое возникает при чтении партиции целиком. если я ему скажу зачитать конкретно этот файл, то все будет без ошибок.
Схемы разные, в стриминге такое постоянно видел https://stackoverflow.com/questions/59492879/spark-streaming-caused-by-org-apache-parquet-io-parquetdecodingexception-can
AZ
Зато гибко!)