ME
Кто блоки восстанавливал, тот в цирке не смеётся:)
Size: a a a
2019 November 21
ЕГ
Класть в с3 и не думать про хдфс вообще
а можно поинтересоваться, есть ли возможность поднять инстанс S3 на своём железе, и есть ли нормальный мануал по этому поводу?
ЕГ
и можно ли на этом хоть сколько-нибудь sql-like хранилище построить, чтоб не лазить за метаданными по паркетам?
A
ceph и прослойка поверх дает s3 api, но сам дела не имел
ME
Евгений Глотов
а можно поинтересоваться, есть ли возможность поднять инстанс S3 на своём железе, и есть ли нормальный мануал по этому поводу?
ну есть minio
ME
но вообще для s3 like object storage можно взять любого cloud vendor
A
минио какой-то совсем игрушечный, трудно растить кластер
ЕГ
в общем, хадуп)
DG
Ceph и amazon s3 - между ними общего только протокол :-)
A
ну если на своем железе, то и нужен только протокол
DG
Ну так те бенефиты про которые мы тут спорим, их не факт что на ceph удасться получить. Доступность, scaling out, performance.
DG
Это же все от имплементации зависит.
ЕГ
просто стоит ли менять отработанную схему hdfs + hive metastore + spark sql на что-то эдакое?
ЕГ
стоит - решили создатели хайва, и испортили свой метастор)
DG
А хайв еще жив?)
ЕГ
ну, грубо говоря, если заменить его на spark catalog, будет даже проще
ЕГ
да, к сожалению)
