N
Коллеги ! Вот слушал подкаст недавно . Как вам утверждение , что hdfs - все . И yarn - все. Что условный s3 заменит hdfs, а kuber заменит yarn
Size: a a a
2020 February 25
АЖ
Nikolay
Коллеги ! Вот слушал подкаст недавно . Как вам утверждение , что hdfs - все . И yarn - все. Что условный s3 заменит hdfs, а kuber заменит yarn
И венде капец
DZ
Квантовые компьютеры победят
AS
Nikolay
Коллеги ! Вот слушал подкаст недавно . Как вам утверждение , что hdfs - все . И yarn - все. Что условный s3 заменит hdfs, а kuber заменит yarn
в России это точно не так
N
С Россией согласен. У нас в публичные облака массового побега больших игроков в ближайшее десятилетие не привидится
AS
Nikolay
С Россией согласен. У нас в публичные облака массового побега больших игроков в ближайшее десятилетие не привидится
это не только связано с большими игроками, это может быть тупо дешевле
N
Но в целом с оценкой я бы согласился. И s3 как замена hdfs выглядит валидным случаем. Есть кто не согласен? Скажите свои аргументы
DZ
Nikolay
Но в целом с оценкой я бы согласился. И s3 как замена hdfs выглядит валидным случаем. Есть кто не согласен? Скажите свои аргументы
И как с3 на собственное железо натягивать?
P
И как с3 на собственное железо натягивать?
а нахрена? есть ж я.облако, мэйл, авс
DZ
ага, да, понятно
S
minio жи
DZ
Но это не с3, а совместимая с с3 фс
N
Ага. MinIO!
ME
Я, конечно, свечку не держал, но вот ребята из minio сранивают себя с aws s3 и разница в латентности не очень большая https://blog.min.io/benchmarking-apache-spark-vs-aws-s3/
ME
Они там правда большой кластер под s3 подняли, интересно сколько железа у aws отдано под эти данные / нагрузку
ЯК
Nikolay
Коллеги ! Вот слушал подкаст недавно . Как вам утверждение , что hdfs - все . И yarn - все. Что условный s3 заменит hdfs, а kuber заменит yarn
Извините что врываюсь, а в каком подкасте это обсуждалось?
N
Извините что врываюсь, а в каком подкасте это обсуждалось?
Devzen
AZ
Nikolay
Коллеги ! Вот слушал подкаст недавно . Как вам утверждение , что hdfs - все . И yarn - все. Что условный s3 заменит hdfs, а kuber заменит yarn
не S3, а объектный сторадж в целом, ну и кубер нужно знать только каким-то опсам, пользователя кубер не должен волновать вообще
ME
Ну и кроме минио, сейчас же есть Apache Ozone, который пока в инкубаторе https://hadoop.apache.org/ozone/
AZ
если у вас GCS+Dataflow+BQ то у вас очень современная аналитическая архитектура, но там нет кубера или S3))