AT
Коллеги , а никто не думал над тем как эффективно обращаться к полям дасасета в join-ах , иммею ввиду что не вводить названия колонок руками
Size: a a a
2018 February 08
AT
Df.join(df1, df.col("id")=== df.col("id2"))
AT
Как бы уйти от стрингов "id" "id2"
PK
Не понял, а что хочется? По индексам к ним обращаться?
AT
У меня предположим Dataset[caseclass]
AT
Поля класса известны
AT
Объяснил ?:-)
AT
Неудобно же
AT
Всегда помнить наименование полей в том или ином _фрайме
GP
можно использовать фреймлесс какраз (в хадупочатике нашем кто-то спрашивал)
AT
Ок, спасибо, посмотрю
2018 February 12
PK
Привет, чат!
Тут в почту прилетела приглашалка для early bird регистрации на Spark+AI Summit 2018 (можно сэкономить 200 зеленых рублей) https://databricks.com/sparkaisummit/north-america
Но самое интересное в другом. Вот, что в слогане “THE WORLD'S LARGEST EVENT FOR THE APACHE SPARK COMMUNITY — NOW WITH AI”. Ну, короче, мы взяли старый-добрый Spark Summit и вкрячили туда AI для вящего хайпа, подумал я. Но интерес, все же, возобладал, да и написать что-то в канальчик пора. Тут, отвлекусь, и напомню, что, обычно, машинку на Spark делают по известному сценарию. Отмолотить датасет на спарке, засэмплировать часть на драйвер, обучить модельку локально, заброадкастить модельку на экзекьюторы и предсказать распределенно. Конечно, учить модели можно и с помощью Spark.ML, но он достаточно убог (что изменится в релизе 2.3 я уточню и напишу отдельным постом). Но вообще вся боль текущего Spark.ML изложена в бенчмарке https://github.com/rambler-digital-solutions/criteo-1tb-benchmark#algorithms
Так вот, полез я смотреть, что там с AI на Spark. У Databricks по этому поводу даже целый раздел документации https://docs.databricks.com/applications/deep-learning/index.html. Там, впрочем, никакого распределенного обучения не нашлось. Неудивительно, ведь кто-то должен управлять ресурсами. Ни YARN, ни Mesos, ни спарковский планировщик в GPU не умеют. Поэтому классическая схема с локальным обучением и распределенным инференсом в деле.
Если у кого-то есть знания, про распределенное обучение сеток на спарке, кидайте в канальчик, обсудим!
Тут в почту прилетела приглашалка для early bird регистрации на Spark+AI Summit 2018 (можно сэкономить 200 зеленых рублей) https://databricks.com/sparkaisummit/north-america
Но самое интересное в другом. Вот, что в слогане “THE WORLD'S LARGEST EVENT FOR THE APACHE SPARK COMMUNITY — NOW WITH AI”. Ну, короче, мы взяли старый-добрый Spark Summit и вкрячили туда AI для вящего хайпа, подумал я. Но интерес, все же, возобладал, да и написать что-то в канальчик пора. Тут, отвлекусь, и напомню, что, обычно, машинку на Spark делают по известному сценарию. Отмолотить датасет на спарке, засэмплировать часть на драйвер, обучить модельку локально, заброадкастить модельку на экзекьюторы и предсказать распределенно. Конечно, учить модели можно и с помощью Spark.ML, но он достаточно убог (что изменится в релизе 2.3 я уточню и напишу отдельным постом). Но вообще вся боль текущего Spark.ML изложена в бенчмарке https://github.com/rambler-digital-solutions/criteo-1tb-benchmark#algorithms
Так вот, полез я смотреть, что там с AI на Spark. У Databricks по этому поводу даже целый раздел документации https://docs.databricks.com/applications/deep-learning/index.html. Там, впрочем, никакого распределенного обучения не нашлось. Неудивительно, ведь кто-то должен управлять ресурсами. Ни YARN, ни Mesos, ни спарковский планировщик в GPU не умеют. Поэтому классическая схема с локальным обучением и распределенным инференсом в деле.
Если у кого-то есть знания, про распределенное обучение сеток на спарке, кидайте в канальчик, обсудим!
ЛР
Привет, чат!
Тут в почту прилетела приглашалка для early bird регистрации на Spark+AI Summit 2018 (можно сэкономить 200 зеленых рублей) https://databricks.com/sparkaisummit/north-america
Но самое интересное в другом. Вот, что в слогане “THE WORLD'S LARGEST EVENT FOR THE APACHE SPARK COMMUNITY — NOW WITH AI”. Ну, короче, мы взяли старый-добрый Spark Summit и вкрячили туда AI для вящего хайпа, подумал я. Но интерес, все же, возобладал, да и написать что-то в канальчик пора. Тут, отвлекусь, и напомню, что, обычно, машинку на Spark делают по известному сценарию. Отмолотить датасет на спарке, засэмплировать часть на драйвер, обучить модельку локально, заброадкастить модельку на экзекьюторы и предсказать распределенно. Конечно, учить модели можно и с помощью Spark.ML, но он достаточно убог (что изменится в релизе 2.3 я уточню и напишу отдельным постом). Но вообще вся боль текущего Spark.ML изложена в бенчмарке https://github.com/rambler-digital-solutions/criteo-1tb-benchmark#algorithms
Так вот, полез я смотреть, что там с AI на Spark. У Databricks по этому поводу даже целый раздел документации https://docs.databricks.com/applications/deep-learning/index.html. Там, впрочем, никакого распределенного обучения не нашлось. Неудивительно, ведь кто-то должен управлять ресурсами. Ни YARN, ни Mesos, ни спарковский планировщик в GPU не умеют. Поэтому классическая схема с локальным обучением и распределенным инференсом в деле.
Если у кого-то есть знания, про распределенное обучение сеток на спарке, кидайте в канальчик, обсудим!
Тут в почту прилетела приглашалка для early bird регистрации на Spark+AI Summit 2018 (можно сэкономить 200 зеленых рублей) https://databricks.com/sparkaisummit/north-america
Но самое интересное в другом. Вот, что в слогане “THE WORLD'S LARGEST EVENT FOR THE APACHE SPARK COMMUNITY — NOW WITH AI”. Ну, короче, мы взяли старый-добрый Spark Summit и вкрячили туда AI для вящего хайпа, подумал я. Но интерес, все же, возобладал, да и написать что-то в канальчик пора. Тут, отвлекусь, и напомню, что, обычно, машинку на Spark делают по известному сценарию. Отмолотить датасет на спарке, засэмплировать часть на драйвер, обучить модельку локально, заброадкастить модельку на экзекьюторы и предсказать распределенно. Конечно, учить модели можно и с помощью Spark.ML, но он достаточно убог (что изменится в релизе 2.3 я уточню и напишу отдельным постом). Но вообще вся боль текущего Spark.ML изложена в бенчмарке https://github.com/rambler-digital-solutions/criteo-1tb-benchmark#algorithms
Так вот, полез я смотреть, что там с AI на Spark. У Databricks по этому поводу даже целый раздел документации https://docs.databricks.com/applications/deep-learning/index.html. Там, впрочем, никакого распределенного обучения не нашлось. Неудивительно, ведь кто-то должен управлять ресурсами. Ни YARN, ни Mesos, ни спарковский планировщик в GPU не умеют. Поэтому классическая схема с локальным обучением и распределенным инференсом в деле.
Если у кого-то есть знания, про распределенное обучение сеток на спарке, кидайте в канальчик, обсудим!
ЛР
San Francisco...
2018 February 21
PK
Так, ребятки и девчатки, на прошлой неделе состоялся вебинар Reynold Xin, который рассказывал про то, что нас ждет в релизе 2.3 http://go.databricks.com/databricks-runtime-4-with-apache-spark2-3. Я начал его слушать и постепенно буду излагать сюда мысли по этому поводу. Stay tuned
K
Так, ребятки и девчатки, на прошлой неделе состоялся вебинар Reynold Xin, который рассказывал про то, что нас ждет в релизе 2.3 http://go.databricks.com/databricks-runtime-4-with-apache-spark2-3. Я начал его слушать и постепенно буду излагать сюда мысли по этому поводу. Stay tuned
стрим - стрим
2018 February 26
KM
Привет. А как правильно инициализировать контекст спарка в fat jar ?
KM
val conf = new SparkConf().setAppName(«YourAppName»).setMaster("yarn-client")
val sc = new SparkContext(conf)KM
вот так?