Телеграмм чат группы moscowspark страница 207

Size: a a a

Moscow Spark

872 membersпожаловаться на группу

2019 November 14

Pavel G in Moscow Spark

хинты можно использовать

источник

19:02пожаловаться #1

Denis Gabaydulin in Moscow Spark

Все-таки broadcast (hash) join и другие оптимзации это только оптимизации. А фолбек всегда идет в sorted merge join. Как наиболее универсальный алгоритм.

Ну и отдельно, кажется что делать трешолд по размеру автоматически - не лучшая идея. Кластеры разные, ноды разные, запросы разные.

источник

19:04пожаловаться #2

Denis Gabaydulin in Moscow Spark

КМК лучше вообще явно писать что ты хочешь, через хинты или даже иногда закатывая солнце в ручную, то есть делая самостяотельно broadcast. Так и по коду будет понятнее.

источник

19:05пожаловаться #3

Simon Osipov in Moscow Spark

Окей, премного благодарен за ответы!

источник

19:06пожаловаться #4

Denis Gabaydulin in Moscow Spark

Вопрос немного в сторону. А что-то делается в spark на тему skew joins? или может кто встречал передовые пейперы в этом вопросе?

источник

19:07пожаловаться #5

Semyon Sinchenko in Moscow Spark

Simon Osipov

Мопед не мой)

А вот теперь мой мопед: почему не лучший - понятно. Отключился бродкаст вообще, теперь там где он мог ускорить - он не работает. Какие альтернативы?

Я бы настраивал тайм-аут все же. Просто одна из таблиц большая и действительно экзекьюторам может не хватать времени. Бродкаст значительно быстрее сорт мёржа

источник

19:08пожаловаться #6

Dmitry Zuev in Moscow Spark

KrivdaTheTriewe

Афтерпати будет ?

Будет, если ты будешь

источник

19:08пожаловаться #7

Denis Gabaydulin in Moscow Spark

Там не только таймаут же но и размер.

источник

19:08пожаловаться #8

Semyon Sinchenko in Moscow Spark

Denis Gabaydulin

Там не только таймаут же но и размер.

Размер лишь для автобродкаста. Если одна из таблиц явно заперсисчена, то тоже будет бродкаст (или если ещё хинт заюзать) но все упрется в тайм-аут

источник

19:09пожаловаться #9

Denis Gabaydulin in Moscow Spark

А насчет таймаутов. Когда то давно разбираясь с очередной ошибкой, я за..ся и выставил по дефолту все таймауты в 800 секунд. И знаете, кол-во ошибок уменьшилось в разы ))

источник

19:09пожаловаться #10

Simon Osipov in Moscow Spark

А где про хинты поподробней почитать?

источник

19:10пожаловаться #11

Denis Gabaydulin in Moscow Spark

https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hint-framework.html

jaceklaskowski.gitbooks.io

Hint Framework · The Internals of Spark SQL

источник

19:11пожаловаться #12