Size: a a a

2020 January 06

A4

Anon 43 in Data Engineers
а это не моё)
источник

EP

Easycore Programming in Data Engineers
Anon 43
может ли в этом случае  обращение к глобальной переменной тормозить процесс?
А какой входной размер строки?
источник

A4

Anon 43 in Data Engineers
Alex
Локальная переменная объекта, в каждом мэпере на каждом воркере своя
понял
источник

A

Alex in Data Engineers
Проинкрементить инт
Или
Сплитнуть строку, конкатенации, toString и тд
источник

EP

Easycore Programming in Data Engineers
Если большой, попробуйте канкатенацию на join заменить через стрим апи или StringBuilder заюзать
источник

A

Alex in Data Engineers
Напоминает ящик водки, но отравились конфеткой которой закусывали
источник

AE

Alexey Evdokimov in Data Engineers
чё будет, если хотя бы один сплит даст массив меньшего размера, чем ожидается
источник

AE

Alexey Evdokimov in Data Engineers
хоть бы вариант String.split(separator, numSplits) юзали, что ли...
источник

A4

Anon 43 in Data Engineers
Alexey Evdokimov
чё будет, если хотя бы один сплит даст массив меньшего размера, чем ожидается
это учебный пример. Не думаю что в датасете будут вырожденные случаи
источник

T

Tatiana in Data Engineers
Подскажите . В хадуп кластере сколько дисков  обычно подключено к каждой  физической машине ?
источник

ʏᴍ

ʏᴜʀɪʏ ᴍᴀʟʏɢɪɴ in Data Engineers
Tatiana
Подскажите . В хадуп кластере сколько дисков  обычно подключено к каждой  физической машине ?
Зависит от задачи кластера
источник

A

Alex in Data Engineers
Как админ соблаговолит
источник

AE

Alexey Evdokimov in Data Engineers
Anon 43
это учебный пример. Не думаю что в датасете будут вырожденные случаи
очень плохой учебный пример, который учит как делать нельзя
источник

A4

Anon 43 in Data Engineers
Alexey Evdokimov
очень плохой учебный пример, который учит как делать нельзя
ну что нашел на гитхабе, то и использую
источник

AE

Alexey Evdokimov in Data Engineers
либо составленный человеком, который откровенно плавает в жабе. найдите что-нибудь получше.
источник

A4

Anon 43 in Data Engineers
вообще задание на курсач: "Сделать 3 нетривиальных MapReduce этапа" к произвольному датасету
источник

A4

Anon 43 in Data Engineers
я выбрал датасет акций с бирж, и вообще не знаю что с ними придумать
источник

A4

Anon 43 in Data Engineers
да еще и нетривиального на 3 этапа
источник

A4

Anon 43 in Data Engineers
поэтому искал на гитхабе что попадется
источник

T

Tatiana in Data Engineers
ʏᴜʀɪʏ ᴍᴀʟʏɢɪɴ
Зависит от задачи кластера
А какие бывают варианты.сколько дисков ... 1,2,...24? Это ведь всегда не рейд?
источник