N
материализовать в таблицу и выкачать TDCH (Teradata Connector for Hadoop)
Так она умрёт на материализации
Size: a a a
2019 September 05
N
Если товарищ говорит, что даже на селекте умирает
AZ
Так она умрёт на материализации
селект отличается от материализации тем что селект - это материализация (в спул) + выкачка на клиента, мб на материализации ему хватит ресурсов и дальше качать во много потоков
AZ
если материализацию сравнивать с селект звезда без ограничений - материализаци легче для системы
AZ
(для больших результатов это справедливо почти для любой массивно-параллельной СУБД, кроме чистых колоночников)
N
Буферизация и отдача клиенту - это дорого?
AZ
не важно это дорого или нет, это дополнительная операция
AZ
ну и вообще конечно, он скорее всего через JDBC это делал, это надо все через один ПДЕ (узел) прокачать
AZ
с любой массивно-паралелльной СУБД надо пользоваться параллелизмом на всех операциях, как-то создание промежуточных результатов, выгрузка или загрузка, а JDBC был придуман во времена когда это не было так актуально
AZ
у терадаты есть спарк адаптер неплохой, но я уверен что товарищь им не пользуется, иначе бы такого вопроса изначально не возникло бы
IG
Нужна помощь. Есть большая вьюха в тетрадате на 1млрд записей. Вьюха состоит из джойнов. Ее надо перекачать в хдфс. Пытался грузить спарком через select * from table, тогда запрос сжирает 20% ЦПУ и база ложиться. С постраничной выгрузкой тоже проблема. Пробовал качать по индексу через index where in (), но получается очень долго - уйдет 2 месяца. Какие еще варианты могут быть?
Я соврал. Не терадата, а о обычный оркал. Так что да, jdbc
AZ
Я соврал. Не терадата, а о обычный оркал. Так что да, jdbc
мб экзадата? это такой оракл, которого покусала нетизза 🙂
IG
Точно )
Всё усложнено тем, что база не наша, а гос компании. Так что всё, что надо делать на стороне базы придётся долго согласовывать
Всё усложнено тем, что база не наша, а гос компании. Так что всё, что надо делать на стороне базы придётся долго согласовывать
IG
В доке оркала увидел способ связать базу с хайвом. Кто-нибудь пробовал так делать?
AZ
Точно )
Всё усложнено тем, что база не наша, а гос компании. Так что всё, что надо делать на стороне базы придётся долго согласовывать
Всё усложнено тем, что база не наша, а гос компании. Так что всё, что надо делать на стороне базы придётся долго согласовывать
тогда мой ответ все еще справедлив, но вам потребуется адаптер от оракла
IG
Спасибо. Попробуем
AZ
В доке оркала увидел способ связать базу с хайвом. Кто-нибудь пробовал так делать?
oracle big data sql, есть такой опыт, но вам это не нужно
AZ
если у вас еще и хадуп от оракла (big data appliance), то все уже должно быть доступно
IG
oracle big data sql, есть такой опыт, но вам это не нужно
Можешь дать ссылку на этот адаптер, в гугле по запросу *spark exadata adapter*, только jdbc и вот это вот
AZ
Можешь дать ссылку на этот адаптер, в гугле по запросу *spark exadata adapter*, только jdbc и вот это вот
https://www.oracle.com/technetwork/database/database-technologies/bdc/big-data-connectors/downloads/ oracle datasource for hadoop