Senior Data Engineer

Мы в Ozon выводим работу с данными на новый уровень и развиваем собственный event sourcing фреймворк для наполнения хранилища данными из микросервисов.
Наша компания динамично развивается, поэтому мы работает в духе start up с минимальным количеством бюрократических процессов и выстраиваем свободные коммуникации в рамках команды. У нас есть внутренние проекты, которые мы реализуем с 0 и имеем большую поддержку со стороны CTO.

Что вам предстоит:
Разработка инструментов для доставки и обработки данных (scala, akka-stream, cats, spark, python);
Поддержка и развитие существующих инструментов на базе Hadoop (hadoop3, hdfs, yarn, hive);
Разработка spark приложений для обработки данных;
Поддержка и развитие существующих решений на Airflow (Celery Executor, k8s);
Поддержка и развитие существующих решений на Kafka;
Участие в проектировании архитектуры разрабатываемых решений;
Участие в выборе используемых технологий и компонентов;
Участие в настройке и улучшении CI/CD;
Внедрение и сопровождение…