DG
Эх, вообще хардкор из непрофильных компаний уходит. Раньше то за performance/throughput бились, теперь всем пофиг. Кубернетес, докер, вот это все.
Size: a a a
2019 November 21
A
А хайв еще жив?)
в каком смысле жив? люди пользуются, за разработкой не следил
ЕГ
Эх, вообще хардкор из непрофильных компаний уходит. Раньше то за performance/throughput бились, теперь всем пофиг. Кубернетес, докер, вот это все.
а щас боремся за xgboost.train(select small_data from big_data).predict(big_data).saveAsMoney()😆
PK
Евгений Глотов
а щас боремся за xgboost.train(select small_data from big_data).predict(big_data).saveAsMoney()😆
Так Spark xgboost on gpu жи)
ЕГ
Так Spark xgboost on gpu жи)
Будем тестить)
ЕГ
Только gpu на датанодах нету чёт)
PK
Чек
AK
Чем вы там так осчастливили Ангелину?
2019 November 22
PK
Чем вы там так осчастливили Ангелину?
А вот
K
Очень нравится доклады слушать, сразу понимаешь , что у других что то по-другому и можно у себя сделать лучше , мотивирует
ЛР
Ну вот в частности был хороший вопрос про EMR. Если выбирать между кубер + spark и EMR, то надо какие-то очень веские причины, чтобы не выбрать второе, а пилить свое from scratch.
Почитай. Там под капотом S3 хранилище. Сразу понятно, что hadoop нет. Значит Спарк запускается не на yarn. На чем - вопрос. Mesos?
ЕГ
Почитай. Там под капотом S3 хранилище. Сразу понятно, что hadoop нет. Значит Спарк запускается не на yarn. На чем - вопрос. Mesos?
у микрософта вообще хрен знает что под WASB, тем не менее, есть hdfs-интерфейс)
ЛР
Евгений Глотов
у микрософта вообще хрен знает что под WASB, тем не менее, есть hdfs-интерфейс)
Дык а нафига он нужен то ? Spark с s3 прекрасно читает
ЕГ
да, но можно ли на этом построить DWH?
ЕГ
прям чтоб select * from schema.table)
ЛР
Евгений Глотов
да, но можно ли на этом построить DWH?
Тут вопрос нужно ли ? Все таки витрины на данных и сервисы на данных немного разная кухня
ЕГ
Тут вопрос нужно ли ? Все таки витрины на данных и сервисы на данных немного разная кухня
да, согласен, когда вам не нужно обеспечивать данными подразделения, которые до сих пор не хотят слезать с саса, всё проще)
АЖ
Евгений Глотов
да, но можно ли на этом построить DWH?
А вот об этом я расскажу на следующем митапе :)
A
Евгений Глотов
Только gpu на датанодах нету чёт)
LoL