Должны, но для точности проверь и посмотри план выполнения

Там написано "двух датафрэймов"

Не там написано “делаю join двух датафрэймов в spark sql или просто пишу join”

Что значит вторая часть мне неясно

Я думаю автор пояснит, но думаю это джойны над tempView или чем-то подобным)))

А, spark.sql(). Если так, то будут. Вот пруф

Спасибо. Для двух датафрэймов джойн

Видимо имеется ввиду spark.sql('df1 join df2') и df1.join(df2)

Это должно быть одинаково

Всем доброе утро) Может кто может подсказать почему у меня не открывает Dag Visualisation в SparkHistoryServer. Вроде поднял historyServ на отдельном порту 18080. Но ог почему то перенаправляет на мой обыный Web Ui, хоть и сохраняет историю.

Мои конфиги:
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.yarn.historyServer.allowTracking=true
spark.ui.filters=org.apache.spark.deploy.yarn.YarnProxyRedirectFilter
spark.history.fs.logDirectory=hdfs:///user/fenix/spark/events
spark.eventLog.dir=hdfs:///user/fenix/spark/events

У меня History Server 2.4.0

Вопрос снимаю) разобрался

А что было ? В чем ошибка была

ошибки не было) я просто не разобрался как посмотреть Dag процессы)))

Всем привет! Внимание опрос, а кто вообще применяет Spark ML в проде? Я имею в виду именно полный цикл, чтоб не притаскивать предобученный XGBoost, etc сбоку и делать предсказания, а чтобы прям встроенные в Spark ML модели обучать? Потыкайте опрос выше, пожалуйста.

Использовал на Java ^

Прошу прощения, будем считать первый пункт JVM языками