Size: a a a

2017 March 07

GP

Grigory Pomadchin in Data Engineers
Зависит от бюджета и потребностей
источник

GP

Grigory Pomadchin in Data Engineers
и от того как его обслуживать планируется
источник

VO

Vitaliy Okulov in Data Engineers
бюджет пока не считаем, важно выбрать направление cloud vs metal
источник

VO

Vitaliy Okulov in Data Engineers
на что стоит внимание обратить при выборе
источник

GP

Grigory Pomadchin in Data Engineers
ну если это облако то скорее всего там есть своя возможность разворачивать кластер, это сократит часы на обслуживание кластера; и будет удобно настраивать конфигурации; можно будет сосредоточиться на настройках самого хадупо кластера а не на оркестровке  

(пример emr, cf)
---------

на железе придется самим приватность сетки поддерживать (если локалки не достаточно), самим оркестровкой заниматься и обновлением кластера;
за то чисто в теории может быстрее работать, если весь кластер будет в стойках которые рядом и общаются по очень широкой локалке
источник

GP

Grigory Pomadchin in Data Engineers
но в реальности, я не пробовал оценивать проихводительность обоих подходов
источник

GP

Grigory Pomadchin in Data Engineers
в плане сравнивать скажем 10 нод на хетцнере // или 10 нод emr
источник

GP

Grigory Pomadchin in Data Engineers
а там чем больше машин надо; у физ машин начинают появляться ограничения простарнственные; к примеру они могут поставить их во дном датацентре но не могут поставить их рядом;
источник

VO

Vitaliy Okulov in Data Engineers
emr все таки выделенное облако, тут больше вопрос был поднять ноды на том же EC2
источник

GP

Grigory Pomadchin in Data Engineers
а; разницы никакой
источник

VO

Vitaliy Okulov in Data Engineers
или в России у ИТГрад
источник

GP

Grigory Pomadchin in Data Engineers
я б не стал в россии поднимать)
источник

VO

Vitaliy Okulov in Data Engineers
проект русский, аудитория в России
источник

GP

Grigory Pomadchin in Data Engineers
ну попробуй; разница где нету; есть разница железки это или готовая инфраструктура
источник

GP

Grigory Pomadchin in Data Engineers
у меня 2 года назад на хецнере была проблема, что локалку между машинами в одном датацентре протолкнуть не могли; нод было не так много - 10 воркеров и 1 мастер
источник

GP

Grigory Pomadchin in Data Engineers
и вот этот мастер был не рядом и не в локалке; и он был хорошим ботелнеком ;\
источник

VO

Vitaliy Okulov in Data Engineers
жестоко
источник

GP

Grigory Pomadchin in Data Engineers
и почемут любил падать :D
источник

GP

Grigory Pomadchin in Data Engineers
диски сыпались
источник

GP

Grigory Pomadchin in Data Engineers
а ну и самая большая пробелма была что не все ноды могли физически быть связаны локалкой; по каким-то странным причинам (времени выяснять не было)
источник