Size: a a a

2019 March 07

AS

Andrey Sutugin in Moscow Spark
Nikolay
Подскажите . Если я , например, делаю join двух датафрэймов в spark sql или просто пишу join, то и в том и другом случае сработают все оптимизации
Должны, но для точности проверь и посмотри план выполнения
источник

AS

Andrey Sutugin in Moscow Spark
Pavel Klemenkov
“Просто пишу join” - это что значит? RDD джойнишь?
Там написано "двух датафрэймов"
источник

PK

Pavel Klemenkov in Moscow Spark
Andrey Sutugin
Там написано "двух датафрэймов"
Не там написано “делаю join двух датафрэймов в spark sql или просто пишу join”
источник

PK

Pavel Klemenkov in Moscow Spark
Что значит вторая часть мне неясно
источник

AS

Andrey Sutugin in Moscow Spark
Я думаю автор пояснит, но думаю это джойны над tempView или чем-то подобным)))
источник

PK

Pavel Klemenkov in Moscow Spark
А, spark.sql(). Если так, то будут. Вот пруф
источник

PK

Pavel Klemenkov in Moscow Spark
источник

N

Nikolay in Moscow Spark
Спасибо. Для двух датафрэймов джойн
источник

NU

Nikita U in Moscow Spark
Видимо имеется ввиду spark.sql('df1 join df2') и df1.join(df2)
источник

NU

Nikita U in Moscow Spark
Nikita U
Видимо имеется ввиду spark.sql('df1 join df2') и df1.join(df2)
Это должно быть одинаково
источник

AM

Artem Muravlev in Moscow Spark
Всем доброе утро) Может кто может подсказать почему у меня не открывает Dag Visualisation в SparkHistoryServer. Вроде поднял historyServ на отдельном порту 18080. Но ог почему то перенаправляет на мой обыный Web Ui, хоть и сохраняет историю.

Мои конфиги:
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.yarn.historyServer.allowTracking=true
spark.ui.filters=org.apache.spark.deploy.yarn.YarnProxyRedirectFilter
spark.history.fs.logDirectory=hdfs:///user/fenix/spark/events
spark.eventLog.dir=hdfs:///user/fenix/spark/events
источник

AM

Artem Muravlev in Moscow Spark
У меня History Server 2.4.0
источник

AM

Artem Muravlev in Moscow Spark
Вопрос снимаю) разобрался
источник

N

Nikolay in Moscow Spark
А что было ? В чем ошибка была
источник

AM

Artem Muravlev in Moscow Spark
Nikolay
А что было ? В чем ошибка была
ошибки не было) я просто не разобрался как посмотреть Dag процессы)))
источник
2019 March 11

K

KrivdaTheTriewe in Moscow Spark
источник

PK

Pavel Klemenkov in Moscow Spark
Используете Spark ML в продакшене?
Анонимный опрос
16%
Используем на Scala
24%
Используем на Python
13%
Используем для инференса моделей (XGboost, lightgbm, etc)
47%
Вообще не используем ML в Spark
Проголосовало: 86
источник

PK

Pavel Klemenkov in Moscow Spark
Всем привет! Внимание опрос, а кто вообще применяет Spark ML в проде? Я имею в виду именно полный цикл, чтоб не притаскивать предобученный XGBoost, etc сбоку и делать предсказания, а чтобы прям встроенные в Spark ML модели обучать? Потыкайте опрос выше, пожалуйста.
источник

AI

Andrei Iatsuk in Moscow Spark
Использовал на Java ^
источник

PK

Pavel Klemenkov in Moscow Spark
Andrei Iatsuk
Использовал на Java ^
Прошу прощения, будем считать первый пункт JVM языками
источник