K
Ну и спорно , насчёт производительности
Size: a a a
2020 January 29
AZ
Ну годовой отчёт будет строить быстрее
на таких объемах данных он может джоб дольше запускать чем постгря выдаст результат
K
Просто там можно сразу сбоку и кластер кх по запросу подымать , и спарком чот писать
K
на таких объемах данных он может джоб дольше запускать чем постгря выдаст результат
Ну импалу
AZ
Ну импалу
берите уж лучше терадату тогда)
K
Лучше когда сырые данные лежат в хадупе, а их уже куда угодно положить можно
K
берите уж лучше терадату тогда)
Из терадаты данные не достаются и она в бекап уходит, становясь не доступной
K
Ну типа , закрыто
AZ
просто там у человека немножко данных, тормозит на постгре и он спрашивает совета чтобы построить сразу целый кластер чтобы с ними что-то делать
AZ
Из терадаты данные не достаются и она в бекап уходит, становясь не доступной
вам виднее)
K
И ограничение jdbc строки в 2 мега
GP
И ограничение jdbc строки в 2 мега
Big Data
K
просто там у человека немножко данных, тормозит на постгре и он спрашивает совета чтобы построить сразу целый кластер чтобы с ними что-то делать
Ну я не знаю размер записи
VS
ad hoc запросов нету, задача спарка/GP подготовить данные для BI, которые BI всосёт внутрь себя в собственный постгрес
K
ad hoc запросов нету, задача спарка/GP подготовить данные для BI, которые BI всосёт внутрь себя в собственный постгрес
Впринципе если там сложная аналитика , можно попробовать спарком вытянуть из постгреса и посчитать
K
Но это на задачах оч тяжелых какой то прирост даст
VS
аналитика достаточно сложная
K
Ну можно попробовать, не факт что это взлетит , но тут проверить не долго будет
TY
Всем привет. Задался вопросом, насколько сейчас Python популярнее или не популярнее Scala/Java для разработки Spark. Какой API вы используете для Spark?
Анонимный опрос
32%
Scala
14%
Python
11%
Java
44%
не использую Spark
AZ
а где SQLи R?