Size: a a a

2021 July 02

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Брейк?)
источник

А

Александр in Data Engineers
буду читать
источник

А

Александр in Data Engineers
спасиб!
источник

GP

Grigory Pomadchin in Data Engineers
слова из песни
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Загуглить я мог сам такое)))
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
О, тёзка
источник

GP

Grigory Pomadchin in Data Engineers
ну слово как переводится
источник

GP

Grigory Pomadchin in Data Engineers
перемешивать
источник

GP

Grigory Pomadchin in Data Engineers
перемешать тебе над бывает в некоторых операциях данные меж партициями
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
А это не вы на конференции выступали пару лет назад?) про спарк круто все по полочкам там было
источник

NN

No Name in Data Engineers
Перед тем, как, например, сджойниться, ключи, по которым идёт джойн, должны оказаться на одной и той же ноде. Вот этот процесс перемещения данных между узлами и есть шаффл.
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Перемешивать данные медду партициями? Смысл? Дефрагментация?
источник

GP

Grigory Pomadchin in Data Engineers
что б сделать операцию
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Блиин. Как вы так умеете сразу и понятно!)
источник

GP

Grigory Pomadchin in Data Engineers
ну у тебя как лежит дата в спарке? разбита на кусочки зовутся кусочки партициями
хочешь сделать груп бай акрос всех кусочков что придется сделать? переслать блоки туда сюда вдруг ключи для груп бая в разных партцииях
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Да. ) сейчас доперло)
источник

А

Александр in Data Engineers
получается если у меня одна локальная нода то у меня и шафла не будет? и будет один большой стейдж с тасками внутри?
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Спасибо вам)
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Виртуальная или локальная?
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Вопрос интересный для девопса наверно. Но мне вот нужно научиться данные спарком из кафки и кассандры доставать в Табло.
источник