UD
например на i/o, как не крути головка у диска всего одна
device-read-iops
Size: a a a
2019 June 05
UD
в докер ран
m
device-read-iops
хмммм, спасибо
2019 June 06
m
раз уж тут так тихо - спрошу. разве размер блока в 128 мб в хадупе как то влияет на расположение данных на диске? разве ос не разобет этот блок на более мелкие изза своих нужд?
A
Дата локалити когда будешь раскидывать задачи между нодами
A
Поэтому паркет блок 1гб пытается ставить
m
Дата локалити когда будешь раскидывать задачи между нодами
А при чем тут она?
m
Вроде такой блоксайз сделан чтоб минимизировать долю seek при чтении
A
Не только
UD
раз уж тут так тихо - спрошу. разве размер блока в 128 мб в хадупе как то влияет на расположение данных на диске? разве ос не разобет этот блок на более мелкие изза своих нужд?
Побьет конечно ( если вопрос про как оно лежит шпинделях )
m
Побьет конечно ( если вопрос про как оно лежит шпинделях )
Тогда зачем в hadoop defenitive guide аргументируют блоксайз этим?
UD
Побив файл на чанки, его можно читать паралельно, толще файл, меньше сиков, меньше оперативки жрется на метадату
GG
раз уж тут так тихо - спрошу. разве размер блока в 128 мб в хадупе как то влияет на расположение данных на диске? разве ос не разобет этот блок на более мелкие изза своих нужд?
Обычно ос не бьёт файлы на мелкие куски, если есть возможность писать одним блоком
m
но гарантий выходит нет, верно?
GG
но гарантий выходит нет, верно?
Нет, но тебя это и не должно особо волновать. Там же много магии. Тот же файловый кэш в озу
2019 June 07
S
пивотал то за что
AZ
денег мало зарабатывают
OA
Просто облака сьели рынок мелкого и среднего бизнеса.
OA
Крупный бизнес пилит свои велосипеды.