Size: a a a

2021 June 08

UD

Uncel Duk in Data Engineers
В статейке линка, они например как костыль, резали диски на разделы, чтобы блокрепорт переживать
источник

A

Alex in Data Engineers
В 3.2.2 и в 3.3.0 у хадупа появились обсервер ноды которые для рид онли можно использовать как неймноды, но это нужно обновление планировать
источник

A

Alex in Data Engineers
В статье про это тоже было
источник

A

Alex in Data Engineers
Ничего, они как изилион, дают железяки, они собираются в кластер

Наружу интерфейсы smb/ntfs/s3
источник

A

Alex in Data Engineers
То есть админить ручками линукс и по не надо
источник

UD

Uncel Duk in Data Engineers
с железками и прости господи в хуавей можно зайти
источник

UD

Uncel Duk in Data Engineers
взять oceanstor pacific/100d тыщи имен у него
источник

A

Alex in Data Engineers
Вот заявляют про то что дедупликация у них адская и много место экономии даёт

В общем пока дадут на тестовый стенд посмотреть :) там посмотрим насколько не врут
источник

UD

Uncel Duk in Data Engineers
Да, только так
источник

S

Stanislav in Data Engineers
Так а в чем разница, если хдфс положить на норм современный сторадж. Будет дедупликация
источник

S

Stanislav in Data Engineers
Но количество реплик увеличится
источник

A

Alex in Data Engineers
Можете расшифровать что вы имеете в виду?
источник

A

Alex in Data Engineers
Хдфс положить на сетевой сторейдж?
источник

S

Stanislav in Data Engineers
Ага. Вон тот-же оушен стор
источник

S

Stanislav in Data Engineers
Там же дедуп на уровне блоков самого схд
источник

UD

Uncel Duk in Data Engineers
не каждый вывезет
источник

A

Alex in Data Engineers
А на фига тогда hdfs?
источник

UD

Uncel Duk in Data Engineers
вывезет только сдс, который нормально написали
источник

UD

Uncel Duk in Data Engineers
классическая фигня с экспандерами дает максимум 40ГБ/с полосы на шпинделях
источник

UD

Uncel Duk in Data Engineers
С флешем, ну может сотня будет
источник