ЕГ
Ну а если их нету😆
Size: a a a
2022 January 28
ЕГ
Не у всех ноды по 512гб)
k
бигдате нужна бигпамять. а как иначе
АД
Коллеги,
приглашаю на онлайн-митап "Основы работы с PostGIS, Hadoop и Spark".
Поговорим о Hadoop, как он устроен, какие у него основные компоненты и почему крупнейшие IT гиганты используют именно его. А также посмотрим, как работает Spark, который стал революционной технологией для обработки больших данных из-за своей скорости и простоты использования.
Митап уже в следующую среду в 16:00 (по мск), присоединяйтесь!
приглашаю на онлайн-митап "Основы работы с PostGIS, Hadoop и Spark".
Поговорим о Hadoop, как он устроен, какие у него основные компоненты и почему крупнейшие IT гиганты используют именно его. А также посмотрим, как работает Spark, который стал революционной технологией для обработки больших данных из-за своей скорости и простоты использования.
Митап уже в следующую среду в 16:00 (по мск), присоединяйтесь!
2022 January 29
C
Ребята, а есть у кого какие нибудь ссылки на статьи, видосы, где показывается как строить витрины на spark + hive? Материалы по тому как вообще строятся витрины тоже будут полезны. Заранее спасибо
РП
А какие могут быть статьи на эту тему? Как джойнить таблички спарком и как результат записать в хайв?
D
а типа маленькая тема ?
там же можно писать в папку и делать alter table set location, alter table add partition, можно в hive писать по jdbc, есть spark engine on hive
там же можно писать в папку и делать alter table set location, alter table add partition, можно в hive писать по jdbc, есть spark engine on hive
k
spark engine on hive у кого-то взлетал?
ЕГ
Не видел таких
k
товарищ рассказывал - шаманство, пожалели, что связались
РП
Потребность непонятна. Вопрос очень обобщен. В чем сложность? Что требуется то?
ЕГ
Само главно непонятно зачем
k
ну шоб быстро типа
ЕГ
Лучше вообще не юзать хайв как сервис, только метастор
ЕГ
Чтоб быстро, просто спарк
k
хайв норм вполне. дешево и сердито. иначе памяти спарку выдать придется размером с хдфс..
ЕГ
Ничего не придётся, на тех же настройках +- работает
GP
ну работает ток в проде не использовал; ток чтоб поиграться
D
Это не мой вопрос, я лишь намекнул на сколько это обширная тема
D
Я пробовал - не взлетело толком на клоудере, только поиграть было годно