Телеграмм чат группы hadoopusers страница 3148

Не очень понятный вопрос, вы пытаетесь найти причины перейти на HDFS? Или уговорить кого-то перейти на minio? Причин может быть много: производительность, совместимость, операционные процессы; HDFS используется где данных много, там просто так не перепрыгивают с компонента на компонент

Нет, просто сейчас это как прыжок веры, типа s3 лучше hdfs и вроде все ок! Но может чего не не заметили, вряд ли люди остаются на hdfs ради bdsm

источник

11:36пожаловаться #7

Alex in Data Engineers

выше были примеры @workales про то что в их ворклоаде hdfs значительно быстрее

всё зависит от задач и кто менеджит эту fs

источник

11:45пожаловаться #8

Alex in Data Engineers

мелкие файлы - лучше закинуть в s3, hdfs от этого плохо
большие файлы и поточная обработка - возможно hdfs вам будет лучше, так как select api ещё тот зверь и когда говорят что сеть резиновая, то многие лукавят

источник

11:46пожаловаться #9

Andrey Smirnov in Data Engineers

Повелитель Бури

К нам раз стучались с Яндекс.облака, посчитали сколько будет стоить наша инфраструктура у них в облаке, получилось раза в 2 дороже (это без затрат на переезд, дописывание кода и т.д.)

источник

11:50пожаловаться #10

Anton Zadorozhniy in Data Engineers

Повелитель Бури

BDSM? Вы точно инженер?

источник

11:55пожаловаться #11

МП

Михаил Петрович... in Data Engineers

Anton Zadorozhniy

BDSM? Вы точно инженер?

*шутка про Big Data Security Management*

источник

12:02пожаловаться #12

Anton Zadorozhniy in Data Engineers

Это разные системы, с разными преимуществами, HDFS это прекрасная простая система, с низким порогом входа но богатыми возможностями тюнинга, Minio это попытка унифицировать с облачным сервисом (который изначально сделан универсальным, у него нет таких возможностей тюнинга, к примеру)

источник

12:06пожаловаться #13

Alex in Data Engineers

в текущих редакциях с шифрованием на диске и EC я бы не сказал что она уж настолько проста

источник

12:09пожаловаться #14

Anton Zadorozhniy in Data Engineers

Ну это опционально же, включают те кому нужно

источник

12:12пожаловаться #15

Alex in Data Engineers

но базовая идея конечно проста
особенно запихнём fsimage в память для скорости работы

правда отсюда и проблемы многие

источник

12:13пожаловаться #16

Alex in Data Engineers

@dartov а в ozone не смотрел?
вроде как комиты какие-то туда влетают, но насколько оно живо и перспективно?

источник

12:18пожаловаться #17

Anton Zadorozhniy in Data Engineers

Alex

@dartov а в ozone не смотрел?
вроде как комиты какие-то туда влетают, но насколько оно живо и перспективно?

Нет, пока не подворачивалась возможность, и в планах нет

источник

12:20пожаловаться #18

Anton Zadorozhniy in Data Engineers

Alex

Ну вот можно fsimage положить в масштабируемую базу, как HopsFS

источник

12:21пожаловаться #19

Alex in Data Engineers

там много чего можно сделать

тот же сервер бейз роутинг так с беты и не вышел чтобы допилить шардирование неймноды и делать viewfs не на клиенте, а на сервере
так понимаю основная часть сторейдж активности в сейчас двинулась больше в озон

вот и стало интересно

источник

12:31пожаловаться #20