Size: a a a

2020 March 04

K

KrivdaTheTriewe in Data Engineers
Да ы просто экстернал таблицы попробуйте
источник

K

KrivdaTheTriewe in Data Engineers
И все
источник

A

Alex in Data Engineers
хочешь чтобы я ссылки на комиты в хортон репе привёл?

ванильный апачевский спарк 2.3 и 2.4 не работает с хайвом 3
источник

K

KrivdaTheTriewe in Data Engineers
Alex
хочешь чтобы я ссылки на комиты в хортон репе привёл?

ванильный апачевский спарк 2.3 и 2.4 не работает с хайвом 3
Вы пробовали экстернал таблицы ?
источник

K

KrivdaTheTriewe in Data Engineers
Просто сделай п create external table
источник

K

KrivdaTheTriewe in Data Engineers
Из какойнибудт таблицы существующей
источник

K

KrivdaTheTriewe in Data Engineers
И попробуйте спарком
источник

A

Alex in Data Engineers
пожалуйста посмотри на ссылки что я привел, там именно код на скале, ты её любишь =)

https://github.com/hortonworks/spark2-release/commit/e16976449aedcb88ca6f7e3c640e6cd8299b7576#diff-af87f9b0fb6af6b88e185e156642fa72
источник

A

Alex in Data Engineers
внимательно читаем название и что оно добавляет,
а потом ищем этот же код в ванильном спарке
источник

A

Alex in Data Engineers
хортонворк спарк
источник

K

KrivdaTheTriewe in Data Engineers
Это все фичи
источник

A

Alex in Data Engineers
коробка у всех разная
источник

K

KrivdaTheTriewe in Data Engineers
Хайва третьего
источник

K

KrivdaTheTriewe in Data Engineers
Кислые таблицы, бакетинг
источник

K

KrivdaTheTriewe in Data Engineers
Это все то что не работает для external таблиц
источник

A

Alex in Data Engineers
loadPartition
loadTable
loadDynamicPartitions
источник

A

Alex in Data Engineers
это всё фичи, а не базовы функционал?
источник

K

KrivdaTheTriewe in Data Engineers
Скажите пожалуйста , вы пробовали external таблицы ?
источник

A

Alex in Data Engineers
скажите пожалуйста, а вы пробовали ванильный апач спарк и hive 3 ?
источник

K

KrivdaTheTriewe in Data Engineers
Alex
скажите пожалуйста, а вы пробовали ванильный апач спарк и hive 3 ?
Нет не пробовал, мне не нужны были кислые менедж таблицы
источник