Так и есть, я просто из вежливости сказал, что это то что я и ищу. У спарка и касандры есть отличная документация в стиле как, но зачем я там так и не нашел.

кто-то должен собрать трубы и следить, чтобы по ним текли данные, по личному опыту аналитики могут написать скрипт, но не готовы брать на себя ответственность за работоспособность системы, SRE какие-нить готовы брать ответственность, что у тебя диски крутятся, но не готовы брать ответственность за "логику трансформаций" над данными. Мне кажется дата инженер как раз посередине и находится. Тебе нужно писать код (скрипты) и следить, чтобы это не взрывалось. На моем опыте все попытки сделать "давайте аналитики будут двигать кубики на UI и у нас все будет класс" или "а давайте аналитики будут писать SQL и у нас все будет класс" проваливаются

Чем это от программиста отличается?

Ничем :)

rebranding?

Да не. Это про другое просто

могу только с бекендом сравнить: если поверхностно, то бекенд пишет микросервисы или парится с монолитом какбизнес логику скормить тупой машине, а дата инженер пишет скрипты и хитрые sql, чтобы найти причину почему у аналитиков не сошелся дебит с кредитом в прошлом месяце

Ну вот это уже ближе к правде

Инженеры! Что-то не работает spark.write.mode("overwrite") пробовал  из шела и зеппелина. Пишет, что выполнилось без ошибок, но в hbase данных нет

А если у тебя приложение на spark/streaming которое данные собирает, обрабатывает, модели предиктит, пишет в базу для пользователей/севисов. Платформа целая. Ты программист или data engineer?

А кто должен прод модели писать? Дата саентист или дата инженер?

Тут надо разделить - Модель написал DS, а DE упаковывает ее в продакшен процесс

Инженеры, могут быть проблемы в настройки транзакции? например, спарк коннектор не посылает commit

а логи БД чо говорят

до БД доходит?

логи феникса пока найти не могу. Проблема именно в существующих таблицах. Создал тестовую таблицу. и Сделал в ней overwrite все прошло.

Зависит от виртуальных машин. У нас хадуп на них и ок

EMR, Dataproc, HDInsight успешно работают на виртуалках, вопрос в том что вам нужно; при равном бюджете и с нуля в своем датацентре бареметал даст больше производительности

Там не совсем "виртуалки"

в смысле?