Братцы, zeppelin ном ктонибудь пользовался?

нет

{
 “input_path”:”/some/input/path”,
 “output_path”: “/some/output/path”
}

 “input_path”:”/some/output/path”, # from the previous config
 “output_path”:”/some/other/output/path”
}

в общей конфиге получается как-то так:
       {
           "name": "constraint_all_worker",
           "output": {
               "path": "{output_path}/constraint_all_worker"
           }
       },
       {
           "name": "category1099_sliced",
           "input": {
               "columns": [
                   "catid",
                   "userid",
                   "score"
               ]
           },
           "output": {
               "path": "s3://bucket/path/to/destination/sliced"
           }
       },

Как узнать куда в интерпретаторе zeppelin пишуться логи, если в коде они реализованы стандартным скаловским логированием?

А?

Вроде нащел

Коллеги, кто прикручивал spark-bigquery connector?
ClassNotFoundException чо не делай.
Версия 0.11.0 , спарк 2.4.3 on k8s, scala 2.11

а что не находит?

коннектор

java.lang.ClassNotFoundException: com.google.cloud.spark.bigquery.DefaultSource

так в доке .format(bigquery) , но видел в каком то ишью  .format(com.google.cloud.spark.bigquery) , и так и так пробовал не работает

конечно же в jars клал

ток это спросить хотел

через параметры передавал --jars

правда в sbt не прописывал ничего, но так вроде не требе

фэтджар можно конечно попробовать, думаю там будут траблы с шейдингом

Вот поэтому я всегда делаю фетджар

"com.google.cloud.spark" %% "spark-bigquery" % "0.11.0-beta" classifier "shaded"  
это добавлял, делал .format(com.google.cloud.spark.bigquery)
падало с No functional channel service provider found

я тоже

приветствую, может кто занимался прикручиванием authentication к prestodb jdbc в emr?  Интересует простой password auth