Size: a a a

2020 February 28

A

Alex in Data Engineers
Ну и как заметили если какое гибрид облако, то единый интерфейс
источник

АЖ

Андрей Жуков in Data Engineers
плюс безопасность попроще и дата сатанистам легче ходить
источник

A

Alex in Data Engineers
Но все зависит от задач :)

Не знаю как в minio с eventual consistency, если так же как и оригинальный s3, то сразу появляется круг задач которые легко делаются на hdfs и сложно на minio
источник

АЖ

Андрей Жуков in Data Engineers
Alex
Но все зависит от задач :)

Не знаю как в minio с eventual consistency, если так же как и оригинальный s3, то сразу появляется круг задач которые легко делаются на hdfs и сложно на minio
не без того
источник

A

Alex in Data Engineers
Андрей Жуков
плюс безопасность попроще и дата сатанистам легче ходить
А им вообще обычно без разницы, есть источник данных и есть
источник

АЖ

Андрей Жуков in Data Engineers
Alex
А им вообще обычно без разницы, есть источник данных и есть
ага, а потом вой, что паркетик сложно прочитать с хдфс, потому что либхдфс надо подсунуть
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Но все зависит от задач :)

Не знаю как в minio с eventual consistency, если так же как и оригинальный s3, то сразу появляется круг задач которые легко делаются на hdfs и сложно на minio
все норм, лучше чем у S3, строгий read-after-write и list-after-write
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
все норм, лучше чем у S3, строгий read-after-write и list-after-write
мы уже сломали :)
источник

АЖ

Андрей Жуков in Data Engineers
но вроде после обновления должно нормально заработать
источник

АЖ

Андрей Жуков in Data Engineers
пока что куча случаев призрачных файлов
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
ага, а потом вой, что паркетик сложно прочитать с хдфс, потому что либхдфс надо подсунуть
+1, если вам нужен ТОЛЬКО объектный сторадж, а вся хадупная экосистема не нужна, то выбирать надо между minio и ceph (и коммерческими аналогами)
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
пока что куча случаев призрачных файлов
это проблема из-за congestion которая? ну это баг, дизайн правильный
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
это проблема из-за congestion которая? ну это баг, дизайн правильный
вроде да, об это спотыкаемся
но, конечно,  неприятно
обновил в дримио рефлекшен, а пользователи начинают плакать о сломанных таблицах минут на 10
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
вроде да, об это спотыкаемся
но, конечно,  неприятно
обновил в дримио рефлекшен, а пользователи начинают плакать о сломанных таблицах минут на 10
ну починили значит все станет лучше
источник

AZ

Anton Zadorozhniy in Data Engineers
а вы ZFS под минио не пробовали?
источник

S

Serg Slipushenko in Data Engineers
А может знает кто хороший ман как минио вкатить в кубер?
источник

AZ

Anton Zadorozhniy in Data Engineers
Serg Slipushenko
А может знает кто хороший ман как минио вкатить в кубер?
у них оператор теперь есть, так что все упрощено, правда за зрелость сказать не могу, спросите через месяц (или сейчас в слаке минио)
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
а вы ZFS под минио не пробовали?
вроде даже не собирались
источник

S

Serg Slipushenko in Data Engineers
Агонь, спасибо!
источник