N
а вы стракчерд стриминг юзаете?
где-то юзаем, где-то по-другому инкремент выделяем на источнике.
Size: a a a
2021 January 05
N
это в каком плане?
да я гоню. имел ввиду, что стримовые дф не поддерживают все те же операции, что и обычные.
2021 January 06
K
ну тут явно с айсбергом проблема
K
бывает просто, что, например, кх из 10 раз 1 раз валится на записи. и надо перекореживать заново килотонны данных, чтобы перезаписать их в айсберг, куда они еще в прошлый раз норм заехали.
а кх умеет айсберг формат?
N
ну тут явно с айсбергом проблема
надеюсь, Антон спит и не видит этого.
N
а кх умеет айсберг формат?
я не пробовал, но в теории да. это ж поркет на стероидах. а поркет кх умеет.
K
а обождите, а почему write не работает и почему нужно в форичбатчем писать в айсберг
KS
Есть ли преимущества в миграции дата лейка с hdfs на ceph?
KS
Пока что вижу, что могут быть проблемы с поддержкой Hive и Presto.
KS
Ну и ещё наверное придется писать Airflow CephOperator
АЖ
Пока что вижу, что могут быть проблемы с поддержкой Hive и Presto.
s3 api вроде в достаточном объёме поддерживается
AZ
Есть ли преимущества в миграции дата лейка с hdfs на ceph?
Смотря с какой целью
KS
Смотря с какой целью
Наш CTO почему то думает, что ceph проще,быстрее и надежнее, чем hdfs.
AZ
Наш CTO почему то думает, что ceph проще,быстрее и надежнее, чем hdfs.
Быстрее? Для аналитики?
AZ
У вас какой-то особенный кейс, с большим количеством маленьких файлов которые нельзя упаковать?
АЖ
Наш CTO почему то думает, что ceph проще,быстрее и надежнее, чем hdfs.
Он может таким быть, если рядом с ним сидит мастер по цефу :)
KS
Быстрее? Для аналитики?
Не-а, они (не дата инженеры) почему-то думают только на один шаг вперед, не думаю о многих других аспектах.
KS
Он может таким быть, если рядом с ним сидит мастер по цефу :)
Они уже пользуют ceph для чего-то, я пока ещё до этого не добрался.
АЖ
Не-а, они (не дата инженеры) почему-то думают только на один шаг вперед, не думаю о многих других аспектах.
Для CTO это странное поведение :) ему надобно думать на n+1 шагов
AZ
Он может таким быть, если рядом с ним сидит мастер по цефу :)
Это прям надо постараться, чтобы на идентичном железе (особенно бареметал) обогнать HDFS на чтении больших файлов в батч джоб