то что нужно, спасибо. теперь только java api для него найти

имеется ввиду через jdbc?

либо через jdbc либо напрямую из хайвишных либ вызывать методы. пишу java приложение для анализа кверей и отображения откуда данные (табличка, колонка) кверя берет и куда потом они попадают. типа Cloudera Navigator или Atlas

интересная задача )
судя по исходникам Atlas, они делают свой hook для hive (модуль hive-bridge), и далее уже крутят запросы как хотят...

хук у нас уже есть, осталось распарсить квери малой кровью а тут у хайва слегка недоделано. У них есть уже заготовка LineageInfo но пока она не более чем заготовка

подскажите, пожалуйста, как без крови обновить спарк до 2.1 в клаудере 5.11? кто-нибудь пробовал аналогичное?

путь по докам https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html уже пройден? или кровь все равно остается? )

не пройден, спасибо, ушел туда

#вакансия#москва#devops
Коллеги, привет!
Отличная вакансия для тех, кто хочет поддерживать и развивать свои навыки devops инженера, но мечтает окунуться в Big Data.
Требуется отличный опыт работы с *nix системами, виртуализацией и приветствуется опыт в разработке архитектурных решений.
Самостоятельность — ОБЯЗАТЕЛЬНО.
Опыт в BigData не обязателен, главное - желание разобраться.
Если интересно, пишите на e.kikoina@youdo.ru

Иван спумер

даже поспать не получается (

Запускаю спарк и он начинает сыпаться

написано же - хип)

это да

а вот насколько его поднимтаь то

а что ты пытаешься делать?
может логика приложения не совсем верная?

вот этот проект пытаюсь поднять