аналитику вообще все равно, он не знает где это бежит

он логи видит прямо в приложении (мы через вебсокет с бэкенда ему показываем), вход/выход он регулирует, это просто запуск контейнера

покажите где посмотреть как у вас сделано)

а вы клиент терадаты?)

у нас есть терадата

а ну вот скажите своему контакту из терадаты что хотите AnalyticOps посмотреть - сразу появится мой коллега, или я)

в принципе можно и так договорится, только по времени будет ближе к концу мая, я покажу и расскажу

(денег за эту штуку терадата не берет)

дяденьки, а что нынче используют для anomaly detection в Spark заданиях? вместо Deequ

А почему вместо?

судя по активности на github - проект умирает

А great expectations?

Prefect

Граждане, а есть что-то удобное для построения визуальной схемы сложного запроса в хайве?

в амбари была показывался тез-дага для hive запроса

всем привет! при старте спарка ловлю ошибку ERROR StreamMetadata: Error writing stream metadata StreamMetadata(6a0e2a1a-a6ec-4196-bc3e-a7e34b42fb53) to file:/C:/Temp/temporary-b7ad4c78-7c59-4220-b643-c2c04bcb4a2c/metadata
ExitCodeException exitCode=-1073741515:

нагуглил, что может не хватать msvcp100.dll и надо установить vcredist, но не помогло. думал путь длинный, сменил папку темп на C:\Temp\, тоже не помогло

в чем может быть проблема?

падает на последней строчке

 SparkSession spark = SparkSession.builder()
                .appName("Read stream")
                .master("local")
                .getOrCreate();

        Dataset<Row> df = spark
                .readStream()
                .format("socket")
                .option("host", "localhost")
                .option("port", 3001)
                .load();

        StreamingQuery query = df
                .writeStream()
                .outputMode(OutputMode.Append())
                .format("console")
                .start();

.awaitTermination?

repartition(1)?