Датафест - это который в мае в Мск?

Да.

Коллеги, подскажите кто-нибудь использует oracle odi? Есть инфа что внедрен в мегафоне.  Говорят  что он хорошо интегрирован со спарком и позволяет писать etl- elt. Заранее спасибо

Юху, нас уже 450! 🔥

🎂

Работал с ним лет 5 назад в контексте задач по хранилищам данных. Вопрос то в чем?

Вопрос его в работе в связке со спарком. У него заявлена такая возможность

С трудов в это верю, но мало ли

В целом концепция инструмента в том, что он является кодо-генератором и сам трансформации не выполняет (т.е. подход ELT), хотя частично и сам может делать трансформации. В нем есть т.н. Knowledge modules, которые и отвечают за генерацию кода (для конкретной технологии,например, oracle, teradata, spark, etc) и дальнейшего его запуска на выполнение. Т.е. аналогия работы в следующем: если бы вы сами сделали параметризованные различные шаблоны трансформаций (например, шаблон: подключиться к Oracle, взять данные и загрузить из в RDD. В качестве параметров было бы: параметры подключения, название таблички, какие-то параметры Spark, etc) и сделали бы библиотеку таких шаблонов. Естественно там есть мониторинг, безопасность и прочая обвязка.

Завязал вовремя ̶с̶ ̶т̶я̶ж̶е̶л̶ы̶м̶и̶ ̶н̶а̶р̶к̶о̶т̶и̶к̶а̶м̶и̶ и не застал. Но если говорить в общем, то более-менее некоробочные задачи (а в случае со Spark jobs они, наверняка, появятся) могут потребовать дописывать KM на птичьем DSL, оно тебе надо?🙂

А если odi натравить на hive + spark engine не поможет?

Ребят, привет! Никто не сталкивался с подобной проблемой? https://stackoverflow.com/questions/55829961/spark-incorrectly-converts-a-dataset-into-a-dataset-of-json-string

Есть ли кто живой на Spark Summit? Пишите, пообщаемся!

Область моих интересов на саммите: кишки Spark, новые API, скорость и проблемы использования Spark ML

Если кому интересно, подписывайтесь, попощу чего-нибудь с саммита, но там в основном личное мнение, которое может не совпадать с вашим

Какое catchy название для канала. Даже странно, что так мало подписоты)

Там в основном мои знакомые и знакомые знакомых, а название - ну вот так исторически сложилось, а я особо не придумал, как переназвать

Пивота точно можно избежать переходя к вектору ДО пивота. Главное правильно стратегию векторизации применить. Пасте бин протух уже 🙁