GP
курсы под спарк
Size: a a a
2017 January 22
NK
курсы под спарк
хорошо же
NK
Я наконец увижу, как выглядит автор курса )
F
Привет всем, где нибудь пошаговое инструкция есть использование Amazon кластеры для запуска R Spark или вообще можно в amazon запустить R Spark?
GP
Привет всем, где нибудь пошаговое инструкция есть использование Amazon кластеры для запуска R Spark или вообще можно в amazon запустить R Spark?
F
Спасибо👍👍👍
2017 January 25
NK
Решал ли кто проблему сохранения рдд на хдфс на фиксированное количество файлов?
GP
это бин пэкинг; слишокм обще задачу ты поставил)
NK
а куда обще, есть рдд , по которому нужно сделать сейв ту хдфс и чтобы получилось после сохранения ровно столько то файлов ( или меньше )
NK
В Хайве это решается относительно просто
GP
попробуй разбить на n партиций и засейвить; думаю что 1 партиция будет 1 файл
GP
только это накладывает ограничения на размеры файлов как видишь
GP
но чем больше файлов и чем они меньше тем лучше для спарка
NK
попробуй разбить на n партиций и засейвить; думаю что 1 партиция будет 1 файл
да что то не вышло)
GP
попробуй coalesce с и без шафла
GP
еще можешь кастомный партишонер исопльзовать; должно работать)) я про partitionBy
NK
попробовали
NK
про коализ
NK
я думаю забьем
NK
Но хайвом это решается)