v
В Сколково наверное делали
Size: a a a
2019 July 03
GG
Ну оно походу позиционируется как переосмысление aiflow
почему нет-то?
GG
детские болезни установлены, можно спроектировать и без них.
EV
почему нет-то?
❓
GG
я говорю - почему бы не перепилить эйрфлоу с нуля, если его детские болезни установлены?
R
а вообще судя по сайту - похоже на Advanced API вокруг Dask + Airflow и рекламой в стиле "очередной лучший в мире шедулер"
GG
airflow там под капотом нет, я смотрел
GG
dask - да, возможно не лучшее решение, но вы можете накинуть на вентилятор )
EV
я говорю - почему бы не перепилить эйрфлоу с нуля, если его детские болезни установлены?
так я не против, уже сижу читаю доки
R
наброшу с тз применимости - если это не на Airflow, придется писать кучу операторов заново
EV
А чем плох dask? )))
AZ
Ребята помогите плиз в чем заключается анализ качества данных (data quality check) в анализе формата данных или в анализе отсутствующих данных?
тут все зависит от точки приложения, качество данных где, каких данных?
GG
наброшу с тз применимости - если это не на Airflow, придется писать кучу операторов заново
ага, первое правило эйрфлоу - не пользоваться встроенными операторами, ога
CM
тут все зависит от точки приложения, качество данных где, каких данных?
Мне просто дали csv с примером данных и дали задачу осуществить проверку в python
AZ
Мне просто дали csv с примером данных и дали задачу осуществить проверку в python
в аналитических системах обычно разделяют на техническое качество данных (грубо говоря соответствие модели данных + полнота) и бизнес качество данных (проверка бизнес-правил) - то есть с вашим CSV если кто-то еще дал схему то надо проверить соотвествие схеме (если схемы нет - просто что разделителей в каждой строке нужно количество) и какие-нибудь бизнес-правила напридумывайте и проверьте их
N
Сходимость с бухгалтерским балансом
N
Например
AZ
Сходимость с бухгалтерским балансом
отличный пример бизнес-правила для качества данных
AZ
соответствие 302П
N
соответствие 302П
Ыыыы