Size: a a a

2019 November 21

DG

Denis Gabaydulin in Moscow Spark
Эх, вообще хардкор из непрофильных компаний уходит. Раньше то за performance/throughput бились, теперь всем пофиг. Кубернетес, докер, вот это все.
источник

A

Anton Lebedevich in Moscow Spark
Denis Gabaydulin
А хайв еще жив?)
в каком смысле жив? люди пользуются, за разработкой не следил
источник

ЕГ

Евгений Глотов... in Moscow Spark
Denis Gabaydulin
Эх, вообще хардкор из непрофильных компаний уходит. Раньше то за performance/throughput бились, теперь всем пофиг. Кубернетес, докер, вот это все.
а щас боремся за xgboost.train(select small_data from big_data).predict(big_data).saveAsMoney()😆
источник

PK

Pavel Klemenkov in Moscow Spark
Евгений Глотов
а щас боремся за xgboost.train(select small_data from big_data).predict(big_data).saveAsMoney()😆
Так Spark xgboost on gpu жи)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Pavel Klemenkov
Так Spark xgboost on gpu жи)
Будем тестить)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Только gpu на датанодах нету чёт)
источник

PK

Pavel Klemenkov in Moscow Spark
Чек
источник

PK

Pavel Klemenkov in Moscow Spark
источник

AK

Alena Korogodova in Moscow Spark
Чем вы там так осчастливили Ангелину?
источник
2019 November 22

PK

Pavel Klemenkov in Moscow Spark
Alena Korogodova
Чем вы там так осчастливили Ангелину?
А вот
источник

K

KrivdaTheTriewe in Moscow Spark
Очень нравится доклады слушать,  сразу понимаешь , что у других что то по-другому и можно у себя сделать лучше , мотивирует
источник

ЛР

Лев Рагулин... in Moscow Spark
Denis Gabaydulin
Ну вот в частности был хороший вопрос про EMR. Если выбирать между кубер + spark и EMR, то надо какие-то очень веские причины, чтобы не выбрать второе, а пилить свое from scratch.
Почитай. Там под капотом S3 хранилище. Сразу понятно, что hadoop нет. Значит Спарк запускается не на yarn.  На чем - вопрос. Mesos?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Лев Рагулин
Почитай. Там под капотом S3 хранилище. Сразу понятно, что hadoop нет. Значит Спарк запускается не на yarn.  На чем - вопрос. Mesos?
у микрософта вообще хрен знает что под WASB, тем не менее, есть hdfs-интерфейс)
источник

ЛР

Лев Рагулин... in Moscow Spark
Евгений Глотов
у микрософта вообще хрен знает что под WASB, тем не менее, есть hdfs-интерфейс)
Дык а нафига он нужен то ? Spark с s3 прекрасно читает
источник

ЕГ

Евгений Глотов... in Moscow Spark
да, но можно ли на этом построить DWH?
источник

ЕГ

Евгений Глотов... in Moscow Spark
прям чтоб select * from schema.table)
источник

ЛР

Лев Рагулин... in Moscow Spark
Евгений Глотов
да, но можно ли на этом построить DWH?
Тут вопрос нужно ли ? Все таки витрины на данных и сервисы на данных немного разная кухня
источник

ЕГ

Евгений Глотов... in Moscow Spark
Лев Рагулин
Тут вопрос нужно ли ? Все таки витрины на данных и сервисы на данных немного разная кухня
да, согласен, когда вам не нужно обеспечивать данными подразделения, которые до сих пор не хотят слезать с саса, всё проще)
источник

АЖ

Андрей Жуков... in Moscow Spark
Евгений Глотов
да, но можно ли на этом построить DWH?
А вот об этом я расскажу на следующем митапе :)
источник

A

Andrey_Pro in Moscow Spark
Евгений Глотов
Только gpu на датанодах нету чёт)
LoL
источник