NK
Собственно предлагаю обсуждать все вопросы связанные с Apache Hadoop стеком: Деплой Spark джоб, работат с дистрибутивам от Hortonworks , Cloudera и так далее
Size: a a a
2017 January 20
NK
Кто, как спарк джобы деплоит?
EM
Кто-нибудь запускает Спарк в jupyter?
NK
Кто-нибудь запускает Спарк в jupyter?
Насколько мне известно, датасайнтисты делают там свою науку, после чего показывают свой ноутбук разработчику. и он его уже на Scala реализует
NK
Мы ноутбуки не используем
EM
Хотел тоже попробовать
SS
Хочу ручками попробовать hadoop, как сделать свой кластер и тд и тп и как бы в домашних условиях, а не в конторе с готовой инфраструктурой. Это вообще реально? Как вы начинали осваивать hadoop?
NK
Хочу ручками попробовать hadoop, как сделать свой кластер и тд и тп и как бы в домашних условиях, а не в конторе с готовой инфраструктурой. Это вообще реально? Как вы начинали осваивать hadoop?
Есть дистрибутивы от CLoudera и Hortonworks
SS
в чём их особенность? они для локальных машин?
NK
У них есть сандбоксы, где все предустановлено. Единственное, нужна машина у которой памяти хотябы 8 , алучше 16 гигабайт.
NK
Ты просто качаешь образ диска и запускаешьп под виртуальной машиной, если всё лагает и тормозит, то стоит отключить что0нибудь из сервисов
SS
спасиб) сегодня начну
SS
а как с книжками/курсами рускоязычными?
SS
или норм только на english?
NK
Нормально только на английском
NK
Хотя по самому хадупу вышла книга на русском от орейли, Apache Hadoop полное руководство.
NK
Она в качестве основ подойдет
NK
Но сейчас непосредственно на хадупе мало кто считает ( считай леджаси уже)