Ну они сказали как отключить :)

Иначе вывод MR с мареров не самый маленький будет

Добрый день, коллеги! Не подскажите как лучше обрабатывать иерархические запросы в spark на hive?  Только с помощью Graphx? Есть ли аналог connect by как в Oracle?:)

это какие такие запросы?

???

Graphx норм. Аналога как в оракле нет. Но тут как-то надо осторожней - если под графы, то графикс норм, но он не делает чудес при попытках слепить реляционку (не RDF) иерархическими переходами.

Оракл просто уж слишком многое позволяет :)

ребят, кто из оракла выгружал, есть какие-то тулзы которые умеют быстро грузить партиции оч большие оракловые?

выгружать или загружать?

выгружать

а целевой формат? Вряд ли же в другой оракл грузить

Goldengate

в общем, маловато конкретики. Мы для переброски секций в хдфс/паркет на постоянной основе используем nifi, с учетом распараллеливания получается шустро и надежно.
для переброски в другой оракл очевидно - transportable tablespaces или expdp/impdp (главное, чтобы не лобы :) )
для разовых выгрузок в csv, к сожалению, ничего толкового - стандартное как на асктоме (ручная работа с utl_file и распараллеливанием или с sqlcl/sqlplus)
gg такое себе, если только онлайн репликация и в другой оракл..

Нифи через что?

oraoop умеет сабпартиции выгружать в параллель, довольно шустро получалось

в принципе логику ораупа можно легко повторить с любой батчевой выгружалкой по jdbc, хоть те же куберовские джобы генерить и писать в отдельные объекты, масштабируемость до уровня партиции и сабпартиции

проблемы начинаются когда очень большая таблица без всяких партиций есть, и туда произвольная запись идет, это конечно антипаттер, но встречается часто и тогда да, GG is your friend

? executeSQL, если я правильно помню, а сам sql генерировался на основе данных управляющей таблички, которую джобом пополняли и которая была началом flow.
Призвал коллегу, который за это сейчас отвечает, чтобы он меня поправил если что.

Через bcv, если есть. Ночью один кусок рейда отцепился, скопировался на ленту и на другой сервак, из этих данных поднялся другой экземпляр. Кусок вернулся в рейд и синхронизировался с соседями.

это способ снижения нагрузки на инстанс, но само средство выгрузки все равно какое-то надо)