t
эт получается что всемто hdfs можно в с3 заливать даже даги?
нашли какие нить доки или блоги в этом направлений?
мне очень интересно
Size: a a a
2021 December 10
t
ЕГ
Я ещё пока совсем не копал
OK
А зачем даги в s3? О_о
M
t
ну а где даги хранить?
OK
В гите
t
но я иногда их перезаливаю
OK
Git-sync сайдкар
ЕГ
Гит синк топ
ЕГ
Если он не упал
ЕГ
OK
Там всё достаточно просто
Спарк с кубером в оф доке или просто гуглить рецепты
S3 почитать про s3-select, посмотреть на alluxio
Метастор в зависимости от облака, glue data catalog или hive metastore или еще чего
Спарк с кубером в оф доке или просто гуглить рецепты
S3 почитать про s3-select, посмотреть на alluxio
Метастор в зависимости от облака, glue data catalog или hive metastore или еще чего
t
k
ни слова про объемы даты / траффик / к-во юзеров этой клауд нэйтив-кост эффектив. в реальности это все поднять под траффик существенный - работы на год для команды человек 5
🤔 пост - самореклама, но в целом как arch overview вполне сойдет
🤔 пост - самореклама, но в целом как arch overview вполне сойдет
k
PoC и правда вполне можно за неделю осилить, если уже опыт есть с частью этой солянки сборной
k
один престо настраивать для более-менее сложного workload - будет почти full-time работа.
кроме того, непонятно, как эта platform делает data ingestion
кроме того, непонятно, как эта platform делает data ingestion
k
в общем, я разворчался, извините
ЕГ
Это неделя полных рабочих дней, или неделя по паре часов с 3 до 5 утра?)
ЕГ
Ну типа поднять дома кубер, минио/цеф, там спарк