А какие инструменты кроме низкоуровневых апачей? Оркестрация может какая есть?
Требования :
∙ Опыт работы на проектах построения Хранилищ данных в качестве ETL-разработчика или архитектора (обязательно);
∙ Опыт работы с одной из промышленных СУБД: Oracle, TeraData, Greenplum (обязательно);
∙ Умение писать сложные SQL-запросы (обязательно);
∙ Опыт оптимизации ETL-потоков;
∙ Опыт выстраивания зависимостей загрузки;
∙ Опыт реализации переиспользуемых процедур: Интеграции данных, Формирования бизнес и технической-истории, формирования суррогатных ключей и так далее.
∙ Опыт практической работы со следующими инструментами: Hadoop, HBase, Spark, Apache NiFi, Impala, Kudu, Kafka, Solr, ElasticSearch (желательно);
∙ Знания Java (желательно); ∙ Разговорный английский (желательно);
Обязанности :
∙ Проектирование и разработка ETL-потоков;
∙ Выстраивание потоков зависимостей загрузок;
∙ Формирования совместно с архитектором стандартов разработки;
∙ Взаимодействие с разработчиками со стороны подрядчика;
∙ Реализация онлайн проверок качества загружаемых данных;
∙ Проверка архитектурных гипотез на практике;
∙ Выработка предложений по выбору инструментов для наиболее эффективной реализации задач;