AP
Подскажите, при работе спарка с jdbc, сетевой доступ к базе должен быть с экзекуторов или с драйвера тоже?
Size: a a a
2020 November 25
K
Подскажите, при работе спарка с jdbc, сетевой доступ к базе должен быть с экзекуторов или с драйвера тоже?
С драйвера тоже
NN
С драйвера тоже
А зачем, кстати?
K
А зачем, кстати?
Для сорс апи нужно
K
Spark.read.jdbc не ленивый
РШ
а spark.write.jdbc по этой же причине требует сетевой доступ для драйвера?
N
А зачем, кстати?
он схему определяет, например в этот момент.
NN
Nikolay
он схему определяет, например в этот момент.
Понял, спасибо
GP
Spark.read.jdbc не ленивый
Жесть
K
Жесть
Что ?
K
Вроде, любой ,spark.read.load не ленивый
GP
Вроде, любой ,spark.read.load не ленивый
ды вроде да, не помню просто), плохо это
DM
Всем привет! Граждане, а кто-нибудь знает простой способ сконвертить hive Мапу в json или хотя бы в строку без udf ?
А
Dmitry Moscow
Всем привет! Граждане, а кто-нибудь знает простой способ сконвертить hive Мапу в json или хотя бы в строку без udf ?
развернуть мапу в строки, а потом сагрегировать в строку:
select COLLECT_LIST(evp_col.par_name)
from events e
LATERAL VIEW explode(e.event_params) evp AS evp_col
DM
развернуть мапу в строки, а потом сагрегировать в строку:
select COLLECT_LIST(evp_col.par_name)
from events e
LATERAL VIEW explode(e.event_params) evp AS evp_col
Спасибо, попробую!
AZ
В AWS завезли популярный планировщик https://aws.amazon.com/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/
ME
В AWS завезли популярный планировщик https://aws.amazon.com/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/
От 250 баксов в месяц за минимальный сетап
PA
ну на гугле так же
PA
они тебе разворачивают кластер с 8 ядрами и 32 гб, и таких три тачки делают
PA
ти стоит это 10 баксов в день