DM
Привет всем, есть кто работал с Apache hudi?
Size: a a a
2019 September 05
S
Из hbase в питонесы без подводных камней происходит ?
Рест?
YE
Привет всем, есть кто работал с Apache hudi?
Привет! Приходи на митап, ссылка выше. В СберДате пилотировали
В
Описание сделай внутри телеграма. Что бы было понятно о чем вообще речь
GP
Sberbank HugeData Platform. Конференция разработчиков; по всем вопросам пинать @Maria_Sol и @yuryemelyanov
https://blockt-events.timepad.ru/event/1014139
https://blockt-events.timepad.ru/event/1014139
YE
Sberbank HugeData Platform. Конференция разработчиков; по всем вопросам пинать @Maria_Sol и @yuryemelyanov
https://blockt-events.timepad.ru/event/1014139
https://blockt-events.timepad.ru/event/1014139
Добавь в контакты место меня @Maria_Sol
IG
Нужна помощь. Есть большая вьюха в тетрадате на 1млрд записей. Вьюха состоит из джойнов. Ее надо перекачать в хдфс. Пытался грузить спарком через select * from table, тогда запрос сжирает 20% ЦПУ и база ложиться. С постраничной выгрузкой тоже проблема. Пробовал качать по индексу через index where in (), но получается очень долго - уйдет 2 месяца. Какие еще варианты могут быть?
IR
Нужна помощь. Есть большая вьюха в тетрадате на 1млрд записей. Вьюха состоит из джойнов. Ее надо перекачать в хдфс. Пытался грузить спарком через select * from table, тогда запрос сжирает 20% ЦПУ и база ложиться. С постраничной выгрузкой тоже проблема. Пробовал качать по индексу через index where in (), но получается очень долго - уйдет 2 месяца. Какие еще варианты могут быть?
Скупом не пробовал?
YI
Нужна помощь. Есть большая вьюха в тетрадате на 1млрд записей. Вьюха состоит из джойнов. Ее надо перекачать в хдфс. Пытался грузить спарком через select * from table, тогда запрос сжирает 20% ЦПУ и база ложиться. С постраничной выгрузкой тоже проблема. Пробовал качать по индексу через index where in (), но получается очень долго - уйдет 2 месяца. Какие еще варианты могут быть?
А код вьюхи никак не оптимизируется? Может запросом из вьюхи можно вытащить данные, и захинтовать еще?
IG
Скупом не пробовал?
Нет. А будет разница?
IG
А код вьюхи никак не оптимизируется? Может запросом из вьюхи можно вытащить данные, и захинтовать еще?
Ты имеешь ввиду вытащить таблицы из базы и вьюху собрать в хадупе?
SS
Экспортнуть в файл данные вьюхи из терадаты?
A
Года идут, а csv все правит миром
AP
Если нет возможности оптимизировать код view, чтобы "сместить" потребление ресурсов, можно попробовать разбить view логически, например, если у тебя звезда-снежинка с небольшими измерениями, то попробовать поделить таблицу фактов по партициям (если они есть). И ты уверен, что материализованной версии нет или нет возможности ее создать?
AZ
Нужна помощь. Есть большая вьюха в тетрадате на 1млрд записей. Вьюха состоит из джойнов. Ее надо перекачать в хдфс. Пытался грузить спарком через select * from table, тогда запрос сжирает 20% ЦПУ и база ложиться. С постраничной выгрузкой тоже проблема. Пробовал качать по индексу через index where in (), но получается очень долго - уйдет 2 месяца. Какие еще варианты могут быть?
материализовать в таблицу и выкачать TDCH (Teradata Connector for Hadoop)
AZ
он качает протоколом тпамп, сразу со всех узлов, очень быстро
AZ
ну и если вам таблица нужна для алгоритма какого-нибудь, то можно поставить датафреймы для терадаты, написать что нужно, там может и пушдаун какой-то будет который снизит объем данных между спарком и терадаты
AZ
а может даже и все можно прямо в терадатке посчитать)