Size: a a a

2019 September 29

GP

Grigory Pomadchin in Data Engineers
Daniel Matveev
слёрм для обучения
источник

СХ

Старый Хрыч in Data Engineers
😐
источник

A

Alex in Data Engineers
Grigory Pomadchin
я не понмю) у меня хдфс сначала жил в контенерах 5 лет назад
источник

DM

Daniel Matveev in Data Engineers
наоборот по-моему кайф с сотонистами
источник

A

Alex in Data Engineers
многое уже пофиксили, но далеко не все
источник

A

Alex in Data Engineers
у меня просто если хадуп, то это постоянно baremetal
источник

СХ

Старый Хрыч in Data Engineers
Alex
у меня просто если хадуп, то это постоянно baremetal
так это хорошо
источник

A

Alex in Data Engineers
в своё время гонял тесты хадупов на разных виртуалках baremetal/xen/kvm
по cpu всё красиво
если начинается диск активно использоваться, то всё становится грустно
источник

СХ

Старый Хрыч in Data Engineers
не надо париться на счёт трафика
источник

СХ

Старый Хрыч in Data Engineers
Alex
в своё время гонял тесты хадупов на разных виртуалках baremetal/xen/kvm
по cpu всё красиво
если начинается диск активно использоваться, то всё становится грустно
ну у kvm с дисками проблем нет, прокидываешь фулл в вм, вопрос опять же в дисках и как сделано всё
источник

СХ

Старый Хрыч in Data Engineers
конечно если гении поставили проксмокс, и дали тебе vm на рейде с батарейкой из 2012 года, то уж простите
источник

A

Alex in Data Engineers
ну это и было вроде в 2013 году =)

а с kvm там вообще печально получилось: система виртуализации “забыла” один флаг процессора прокинуть, в итоге kvm по первости значительно сливал голому железу и xen’у

после того как начал сравнивать cat /proc/cpuinfo и флаги, то нашел его, всё заработало более менее ровно
всякие тесты говорили что всё ок
но на тестах того же числи pi хадупом уже разница была заметна сильно
источник

GP

Grigory Pomadchin in Data Engineers
Daniel Matveev
наоборот по-моему кайф с сотонистами
а у тебя какой сетап сейчас? ты развернул слерм?
источник

СХ

Старый Хрыч in Data Engineers
Alex
ну это и было вроде в 2013 году =)

а с kvm там вообще печально получилось: система виртуализации “забыла” один флаг процессора прокинуть, в итоге kvm по первости значительно сливал голому железу и xen’у

после того как начал сравнивать cat /proc/cpuinfo и флаги, то нашел его, всё заработало более менее ровно
всякие тесты говорили что всё ок
но на тестах того же числи pi хадупом уже разница была заметна сильно
скажем так, в 2015 там сильно всё улучшилось в плане проброса, и сейчас вм можно легко отдать диски целиком, как и сетевые интерфейсы, больше проблема в сетью, особенно, когда "гении" покупают сетевухи древние
источник

UD

Uncel Duk in Data Engineers
Alex
просто когда начинается вопрос не про клауды, а про локальные инсталяции и “мы будем крутить всё в k8s вместо старого хадупа”
то у меня всегда вопрос “а hdfs чем заменять будете” ?

эмуляция s3 в опенстек ещё та радость
Возможно у них конский дисконт на хранилки с "s3"
источник

UD

Uncel Duk in Data Engineers
Но это редко
источник

UD

Uncel Duk in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
Uncel Duk
Возможно у них конский дисконт на хранилки с "s3"
на ажуру были дисконты на старте
источник

GP

Grigory Pomadchin in Data Engineers
супер дисконты с премиум сапортом
источник

UD

Uncel Duk in Data Engineers
Ну кто обкашлять успел, ок
источник