DR
Спарк просто более широкий класс задач почти из коробки позволяет решать, но если на задачу классический мап редьюс отлично ложится, то и хадуп норм.
Кто такое про хадуп сказал.
В зависимости от задач и то и то хорошо
Size: a a a
2020 January 04
IV
Кто-то из ods. Вот и я так же думаю
IV
Спарк просто более широкий класс задач почти из коробки позволяет решать, но если на задачу классический мап редьюс отлично ложится, то и хадуп норм.
Это да, ибо одного поля ягода
IV
Мне поэтому и интересно стало, хрень сказали или нет
DR
Ну мне как-то сказали, что если обычный Мап редьюс для одной и той же задачи запускать на спарке и хадупе, то на спарке редьюсеры жрут в 1.5-2 раза больше памяти, чем на хадупе. И если задачи ложатся на простой мап редьюс, то хадуп приоритетнее
IV
Окей, спасибо
ИБ
Ну hadoop подразумевает не только вычислительный фреймворк, но и систему хранения данных. Например hbase далеко не во всех задачах хорош, он нетипизированный, но там можно кидать огромные значения в поле и он будет жить с этим неплохо. Если говорить про систему хранения, то точно зависит от задачи, и чаще всего hbase не очень нужна, hdfs да, часто пригождается. Про вычислительную часть на hadoop писать больно. Писал на hadoop java 8 и на spark scala. Несравнимое ощущение, 100 hadoop java строк становятся тремя на scala, тот же word count. Но hadoop часто побыстрее, только вот время на хороший код убьешь очень много
AC
Прошу прощения, случайно нажалось
2020 January 06
A
Confirm that you are not a robot.
2020 January 07
A
Confirm that you are not a robot.
C
Alert! Tsii Kylie is a known spammer and is CAS banned. Ban is strongly recommended.
2020 January 09
JS
всех с прошедшими!
JS
че там как млбуткамп?
DS
Привет
DS
Не в январе )
JS
ура! пепе ты рад?
p
пепе ты не знаешь! ты про это?
AK
Не в январе )
а миник?
DS
Зимой мало чемпов