rG
Брейк?)
Size: a a a
2021 July 02
А
буду читать
А
спасиб!
GP
слова из песни
rG
Загуглить я мог сам такое)))
rG
О, тёзка
GP
ну слово как переводится
GP
перемешивать
GP
перемешать тебе над бывает в некоторых операциях данные меж партициями
rG
А это не вы на конференции выступали пару лет назад?) про спарк круто все по полочкам там было
NN
Перед тем, как, например, сджойниться, ключи, по которым идёт джойн, должны оказаться на одной и той же ноде. Вот этот процесс перемещения данных между узлами и есть шаффл.
rG
Перемешивать данные медду партициями? Смысл? Дефрагментация?
GP
что б сделать операцию
rG
Блиин. Как вы так умеете сразу и понятно!)
GP
ну у тебя как лежит дата в спарке? разбита на кусочки зовутся кусочки партициями
хочешь сделать груп бай акрос всех кусочков что придется сделать? переслать блоки туда сюда вдруг ключи для груп бая в разных партцииях
хочешь сделать груп бай акрос всех кусочков что придется сделать? переслать блоки туда сюда вдруг ключи для груп бая в разных партцииях
rG
Да. ) сейчас доперло)
А
получается если у меня одна локальная нода то у меня и шафла не будет? и будет один большой стейдж с тасками внутри?
rG
Спасибо вам)
rG
Виртуальная или локальная?
rG
Вопрос интересный для девопса наверно. Но мне вот нужно научиться данные спарком из кафки и кассандры доставать в Табло.