Перед тем, как, например, сджойниться, ключи, по которым идёт джойн, должны оказаться на одной и той же ноде. Вот этот процесс перемещения данных между узлами и есть шаффл.
ну у тебя как лежит дата в спарке? разбита на кусочки зовутся кусочки партициями хочешь сделать груп бай акрос всех кусочков что придется сделать? переслать блоки туда сюда вдруг ключи для груп бая в разных партцииях