Size: a a a

2020 February 25

UD

Uncel Duk in Data Engineers
минио дико сливает на операциях с метадатой/мелкими файлами, поэтому во всех тестах у них nvme
источник

UD

Uncel Duk in Data Engineers
Mikhail Epikhin
В любом случае, вы пробовали minio? Как оно?
в качестве “сетевого рейда” с s3 api пойдет
источник

S

Serg Slipushenko in Data Engineers
Uncel Duk
минио дико сливает на операциях с метадатой/мелкими файлами, поэтому во всех тестах у них nvme
А что у них должно быть, хдд чтоли?
источник

AZ

Anton Zadorozhniy in Data Engineers
Serg Slipushenko
Ок, зависит от домена, согласен. Я говорю про процесинг большой даты в картинках
Кмк вы уравниваете утилизацию ресурсов бизнес логикой, и оркестрацию/интеграцию; вопрос утилизации никуда не уходит, его надо решать даже на серверлесс технологиях
источник

ME

Mikhail Epikhin in Data Engineers
Uncel Duk
минио дико сливает на операциях с метадатой/мелкими файлами, поэтому во всех тестах у них nvme
Интересное замечание, спасибо
источник

UD

Uncel Duk in Data Engineers
Serg Slipushenko
А что у них должно быть, хдд чтоли?
Рабочий тиринг
источник

S

Serg Slipushenko in Data Engineers
Anton Zadorozhniy
Кмк вы уравниваете утилизацию ресурсов бизнес логикой, и оркестрацию/интеграцию; вопрос утилизации никуда не уходит, его надо решать даже на серверлесс технологиях
Именно так, оркестрация в бигдате - часть бизнес логики
источник

AZ

Anton Zadorozhniy in Data Engineers
Serg Slipushenko
Именно так, оркестрация в бигдате - часть бизнес логики
Здорово, надо взять это на вооружение для джоб секьюрити)
источник

S

Serg Slipushenko in Data Engineers
Ну мож я не прав) давайте аргументы за вашу точку зрения
источник

AZ

Anton Zadorozhniy in Data Engineers
" - вы хотите на датабрикс? нельзя, там очень мало контроля над оркестрацией в кластере, вы не сможете свою бизнес логику реализовать, давайте поговорим как вы собираетесь использовать наши кубер кластера, мы может быть разрешим вам туда задеплоить что-нибудь"
источник

AZ

Anton Zadorozhniy in Data Engineers
мечта...
источник

AZ

Anton Zadorozhniy in Data Engineers
это возврат к старому вопросу "что вы хотите - выжимать все из своей инфры, или использовать ваших очень умных инженеров для чего-то другого, например для ваших бизнес-приложений", и тут нет одного решения для всех, но кмк тренд скорее в сторону коммодитизации идущей снизу (от инфры) вверх (до доменных апишек)
источник

S

Serg Slipushenko in Data Engineers
Заказчик хотел на бриксы) но мы выкатили решение в 3 раза дешевле. Хехехе)
источник

S

Serg Slipushenko in Data Engineers
Но эт конечно частный случай
источник

AZ

Anton Zadorozhniy in Data Engineers
Serg Slipushenko
Заказчик хотел на бриксы) но мы выкатили решение в 3 раза дешевле. Хехехе)
точно в три раза дешевле? людей/инфру/опсов точно посчитали?
источник

S

Serg Slipushenko in Data Engineers
Да)
источник

S

Serg Slipushenko in Data Engineers
Даж наверное больше чем в 3 раза дешевле
источник

AZ

Anton Zadorozhniy in Data Engineers
тогда вы смотрите на рынок где легко сможете заработать десяток миллионов долларов
источник

S

Serg Slipushenko in Data Engineers
Я ж говорю что это сильно частный случай
источник

S

Serg Slipushenko in Data Engineers
Но вообще 10 лямов эт не так что бы и много
источник