Size: a a a

2019 September 18

AZ

Anton Zadorozhniy in Data Engineers
Ivan Levitsky
Добрый день, коллеги
Подскажите пожалуйста
Я правильно понимаю, что на датанодах хадупа, нагрузка на дисковую подсистему в основном это последовательное чтение\запись и мало случайного чтения\записи?
Логически да, но много конкурентного последовательного доступа в итоге дают случайное )
источник

IL

Ivan Levitsky in Data Engineers
А есть ли смысл на датанодах использовать ssd, а не hdd? Или они не будут утилизироваться?
источник

СХ

Старый Хрыч in Data Engineers
Ivan Levitsky
А есть ли смысл на датанодах использовать ssd, а не hdd? Или они не будут утилизироваться?
Ты на вопросы ответь
источник

S

Stanislav in Data Engineers
Ivan Levitsky
А есть ли смысл на датанодах использовать ssd, а не hdd? Или они не будут утилизироваться?
в хадуп давно завезли тиры
источник

S

Stanislav in Data Engineers
хочешь ссд, хочешь шпиндели
источник

VE

Vladimir E. in Data Engineers
под тирами понимается разделение кластера с помощью лейблов?
источник

UD

Uncel Duk in Data Engineers
Storage policy
источник

UD

Uncel Duk in Data Engineers
Жаст фор лулз можно взять нвме диски
источник

VE

Vladimir E. in Data Engineers
ааа, понял
источник

UD

Uncel Duk in Data Engineers
И вынести на них cache/local
источник

UD

Uncel Duk in Data Engineers
источник

VE

Vladimir E. in Data Engineers
а вообще кстати по хардвару, вы производителя по каким критериям выбираете? Что например думаете о Oracle Big Data Applience?
источник

UD

Uncel Duk in Data Engineers
Максимально простое железо и много
источник

UD

Uncel Duk in Data Engineers
Но если влезаете в оракловский аплаенс, он может быть быстрее
источник

M

Mi in Data Engineers
hadoop ведь и разрабатывался под максимально дешевое железо
источник

AZ

Anton Zadorozhniy in Data Engineers
максимально простое, но нормальное все-таки :)
источник

UD

Uncel Duk in Data Engineers
Баззворд драйвен теперь
источник

UD

Uncel Duk in Data Engineers
Хотите айскази с озона, пожалуйста
источник

UD

Uncel Duk in Data Engineers
Лучший сторадж для k8s
источник

AZ

Anton Zadorozhniy in Data Engineers
не нужно SAN, 2U тачки с локальными дисками, ну а конкретная конфа по деньгам
источник