DataEngineer в Rosbank
В команду разработки требуется сильный DataEngineer, для задачи построения хранилища данных на основе Hadoop(mandatory) и других систем(optional).
Что будем делать:
- Выстраивать процессы работы с данными
- Делать ETL с помощью таких инструментов как Apache Spark/Airflow и других(какие придумаем вместе)
- Выстраивать диалог и процесс с командой эксплуатации
- Взаимодействовать с другими командами в области batch/streaming процессинга данных, а также сервисами над данными
- Нести свое видение, что такое правильная разработка другим командам, а также учится на удачных примерах самим
Что хочется увидеть у кандидата, но не если какого-то пункта нет, а есть какой-то другой - не страшно
- Scala(будет немножечко фп для лучшей жизни)/Python/Java
- Airflow/Oozie/Perfect
- Spark/Flink
- K8S
- SQL
- Опыт оптимизации запросов/программ/процессов
- Желание сделать хорошо и лучше чем у других в индустрии
- Опыт работы в распределенных командах
По всем вопросам можно писать мне
@krivdathetriewe или на почту frostball@gmail.com