UD
btw амбарь там все штоле? активность чет упала в репе
Size: a a a
2019 July 03
ЕГ
Хотя бывали случаи, когда ломался один аппликейшен при падении РМ, и приходилось чистить зукипер от него, иначе РМ не поднимался
CM
Может ктото прислать пару примеров как делать data quality checks?
Заранее благодарен!
Заранее благодарен!
A
btw амбарь там все штоле? активность чет упала в репе
Хортон это ещё зимой анонсировал, когда стало известно про поглощение.
A
У Клаудеры есть свой менеджер, зачем ей конкурент в лице амбари
UD
Anton Kovalenko
Хортон это ещё зимой анонсировал, когда стало известно про поглощение.
@ на последнем вебинаре клаудера пафосно показывала клаудбрик
UD
EV
🤷♂️
CM
Ребята помогите плиз в чем заключается анализ качества данных (data quality check) в анализе формата данных или в анализе отсутствующих данных?
DP
Почему получаю: Exception in thread "main" org.apache.spark.sql.AnalysisException: Undefined function: 'to_json'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 1 pos 0 ?
GP
Почему получаю: Exception in thread "main" org.apache.spark.sql.AnalysisException: Undefined function: 'to_json'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 1 pos 0 ?
спарка версия какая?
GP
похоже, что старый спарк у тебя
EV
Ребята помогите плиз в чем заключается анализ качества данных (data quality check) в анализе формата данных или в анализе отсутствующих данных?
У меня нет системных знаний в это области, но я вижу это как перечень проверок:
данные вообще есть
свойства имеют нужный тип и размер
свойства заполнены там где они обязательны
опционально: свойства подчиняются заданному распределению
данные вообще есть
свойства имеют нужный тип и размер
свойства заполнены там где они обязательны
опционально: свойства подчиняются заданному распределению
EV
ну и сверху приделано некое решение которое отбростит некачественные данные куда-нибудь где их можно потом поглядеть и отправит алерт
CM
EV
DS
Че то там русским духом пахнет
DS
Похоже русские делали
R
>
>
НУ-НУ
real-time>
in PythonНУ-НУ
EV
Ну оно походу позиционируется как переосмысление aiflow