p
под хдфс те нада 5 нод
Size: a a a
2017 March 07
p
под зк тож желательно отдельные
GP
можешь ссылкой поделиться?
чет не могу найти, помню находил; ods.ai тут только формочка
p
а где гонять махаут это как бы пофигу, всё равно скорее всего придёшь к тому, что придётся сигруппами резать приложения
GP
а почему именно 5?)
GP
3 чтоб проверить / посмотерть как мажется хватит
p
ну что б проверить и одной хватит
p
а так те нейм ноды 2 штуки, журнал 3 штуки, зукиперы тоже бы отдельно посадить куда нить
p
мы вобще в нашем микрокластере пришли к решению, когда manage сервисы всех решений крутятся на 2-3 выделенных нодах, а весь компьют\сторадж ровно размазан по остальным нодам.
NK
2017 March 10
AA
Нам надо сделать приложение, работающее с HDFS\Hive но нужно поддерживать несколько дистрибутивов (Hortonworks\Cloudera\IBM) и стоит вопрос как избежать jar hell работая с либьами самого хадупа в кластере. Есть какие-то best practise? Посоветуйте
2017 March 11
NK
2017 March 19
NK
как же она быстро говорит в курсе по спарку
NK
еще очень обидело, что скриншоты не обновили под актуальные данные
SZ
есть в монге коллекция на 100миллионов записей, если юзать агрегатор монги то это занимает вечность и сама база в это время в окололежачем состоянии. на сколько есть смысл юзать спарк чтобы сделать агрегации?
λ
есть в монге коллекция на 100миллионов записей, если юзать агрегатор монги то это занимает вечность и сама база в это время в окололежачем состоянии. на сколько есть смысл юзать спарк чтобы сделать агрегации?
Ты это в Спарк будешь загружать вечно)
λ
Но попробовать нужно
GP
Ты это в Спарк будешь загружать вечно)
Можно как то паралeлизацию выгрузки сдeлать попробовать, можeт и норм будeт да
GP
Монга упрeтся вочтонить и всe
