Так там может шафл одной колонки и происходит? Ещё наверное зависит от того какой кондишн

df2 = охуенно широкая таблица с 100500 колонок
df1 = охуенно высокая таблица с 100500 строк

df1.join(df2, on=key, how=left_semi)

В самом спарке в org/apache/spark/sql/catalyst/optimizer/Optimizer.scala:836 вот такое:

LeftSemi is kind of an
        // inner join, it just drops the right side in the final output.

LeftSemi is kind of an
        // inner join, it just drops the right side in the final output.

тогда это грустно

Как вариант попробовать забродкастить датафрейм с одной колонкой, и если там размер все ровно большой и она автоматом не забродкастится, то можно ещё выставить размер сюда spark.sql.autoBroadcastJoinThreshold, но нужно аккуратно выставлять размер

у меня более теоретический вопрос) то что ты говоришь правда, да

Всем привет! Вопрос к тем, кто использует Kafka + Spark Structured Streaming.
Проблема такая - данные писались стриминговым пайплайном, с чекпоинтами. Затем пайплайн отключили на определенный промежуток времени, а потом включили вновь.
Проблема в том, что в кафке за это время накопилось очень много эвентов, и чтение этого первого батча занимает очень много времени. Как правильно лимитировать спарк, так чтобы он разбирал очередь константными частями (скажем, по X эвентов за один микро-батч)?

попробуй выставить маленький maxRatePerPartition, но имей ввиду это рейт на партицию в секунду

и бекпрешша конечно должна быть включена

spark.streaming.kafka.maxRatePerPartition

а это в Structured Streaming работает?

попробуй расскажешь, есть ещё maxOffsetsPerTrigger

Я не помню что в каком случае работает, но по баззвордам нагуглишь

и то и другое выкрутил на минимум - не работает

бекпрешша то есть?

Оно без неё работать не будет

Похожий вопрос. Похоже  preparation не работает, per trigger - работает

Я только в обычном стрименге задавала.

в structured streaming maxOffsetsPerTrigger работает