Size: a a a

2019 November 21

ME

Mikhail Epikhin in Moscow Spark
Кто блоки восстанавливал, тот в цирке не смеётся:)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Mikhail Epikhin
Класть в с3 и не думать про хдфс вообще
а можно поинтересоваться, есть ли возможность поднять инстанс S3 на своём железе, и есть ли нормальный мануал по этому поводу?
источник

ЕГ

Евгений Глотов... in Moscow Spark
и можно ли на этом хоть сколько-нибудь sql-like хранилище построить, чтоб не лазить за метаданными по паркетам?
источник

A

Anton Lebedevich in Moscow Spark
ceph и прослойка поверх дает s3 api, но сам дела не имел
источник

ME

Mikhail Epikhin in Moscow Spark
Евгений Глотов
а можно поинтересоваться, есть ли возможность поднять инстанс S3 на своём железе, и есть ли нормальный мануал по этому поводу?
ну есть minio
источник

ME

Mikhail Epikhin in Moscow Spark
но вообще для s3 like object storage можно взять любого cloud vendor
источник

A

Anton Lebedevich in Moscow Spark
минио какой-то совсем игрушечный, трудно растить кластер
источник

ЕГ

Евгений Глотов... in Moscow Spark
в общем, хадуп)
источник

DG

Denis Gabaydulin in Moscow Spark
Ceph и amazon s3 - между ними общего только протокол :-)
источник

A

Anton Lebedevich in Moscow Spark
ну если на своем железе, то и нужен только протокол
источник

DG

Denis Gabaydulin in Moscow Spark
Ну так те бенефиты про которые мы тут спорим, их не факт что на ceph удасться получить. Доступность, scaling out, performance.
источник

DG

Denis Gabaydulin in Moscow Spark
Это же все от имплементации зависит.
источник

ЕГ

Евгений Глотов... in Moscow Spark
просто стоит ли менять отработанную схему hdfs + hive metastore + spark sql на что-то эдакое?
источник

ЕГ

Евгений Глотов... in Moscow Spark
стоит - решили создатели хайва, и испортили свой метастор)
источник

DG

Denis Gabaydulin in Moscow Spark
А хайв еще жив?)
источник

ЕГ

Евгений Глотов... in Moscow Spark
ну, грубо говоря, если заменить его на spark catalog, будет даже проще
источник

ЕГ

Евгений Глотов... in Moscow Spark
да, к сожалению)
источник

PK

Pavel Klemenkov in Moscow Spark
источник

PK

Pavel Klemenkov in Moscow Spark
источник

PK

Pavel Klemenkov in Moscow Spark
источник