Обычный де и грузит данные в обход даталейка

А, ну то есть он/она не промышленный код пишет, а прототип делает?

Да.

А потом сдает их

Как пример. Я 2й год гружу данные из SAP HANA, скриптом на Питоне+Spark. Все подсели на эту витрину, и не особо хотят переходить на промышленную от ETL)

И как это связано с dq?

Вот если ты навесишь на неё тонну проверок, это будет связано с dq)

Да, в таком случае, конечно, знаю, просто с глоссарием ещё плохо знаком, спасибо)

Я выше и писал. DQE в продуктах занимается в том числе и качеством данных. Т.е. пилят необходимые проверки.

+
Не вижу принципиально ничего нового в таком определении dqe

У нас и так инженеры эти поверки пилят

И смысл в моем сообщении, был больше в том, что в каждой компании DQ\ DQ\ DE имеют разные стек технологий, и каждая компания по разному понимает и применяет эти аббревиатуры.

странно было бы, если бы совпадали

разная природа данных — разная головная боль, потому что и процессы каждый раз свои самобытные

Это логично.
В моем понимании dq является неотъемлемой частью строительства пайплайна.
Да, конечно, в зависимости от задачи могут быть варианты - например, прибежит потный продакт и скажет, чтоб к утру новый источник вот лился позарез, потому что просрали все полимеры и аналитика нужна. Тут, конечно, придется dq в техдолг пихать.
Но, в целом, я плохо себе представляю работу над сырьем, если оно хоть минимальными метриками не покрыто.

- а какими DQ системами вы пользуетесь?
- заказчиком

хм… а есть системы dq?

в отдельных случаях пре-кукинг сырых данных может составлять 50% от всех задач бизнеса. мы вот enriched data перепродаём, например

я просто только начинаю и хотелось бы понять как это дело тестить 🙂

то есть цель ETL самого по себе это сделать из сырья что-то consumable