Size: a a a

2020 February 18

N

Nikita Blagodarnyy in Data Engineers
это мой сосед по сберо-грядке запилил
источник

N

Nikita Blagodarnyy in Data Engineers
щас придет @dartov и всех наставит на путь истинный
источник

K

KrivdaTheTriewe in Data Engineers
у меня есть ярая идея люто бешено наделать мелких таблиц и каждую партицию спарковскую туда сливать
источник

K

KrivdaTheTriewe in Data Engineers
потом это уже самой терадатой объеденить
источник

K

KrivdaTheTriewe in Data Engineers
спасибо
источник

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
у меня есть ярая идея люто бешено наделать мелких таблиц и каждую партицию спарковскую туда сливать
так она вроде сама партиционируется на ура. и по колонкам и по строкам.
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
так она вроде сама партиционируется на ура. и по колонкам и по строкам.
суть в том, что можно будет сделать 1000 екзекьюторов и писать параллельно в 1000 сессий
источник

K

KrivdaTheTriewe in Data Engineers
а потом уже данные собрать
источник

N

Nikita Blagodarnyy in Data Engineers
а в терадате что, столько ядер есть?
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
а в терадате что, столько ядер есть?
источник

N

Nikita Blagodarnyy in Data Engineers
она вообще неплохо с hdfs вроде дружит.
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
она вообще неплохо с hdfs вроде дружит.
вы с вертикой не путаете?
источник

N

Nikita Blagodarnyy in Data Engineers
какой-то маркетинговый треп на ту тему точно был
источник

N

Nikita Blagodarnyy in Data Engineers
источник

K

KrivdaTheTriewe in Data Engineers
ну это не с хдфс, короче , там не оч все
источник

N

Nikita Blagodarnyy in Data Engineers
А че, прям столько данных? Инкрементик через power center не заедет?
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
суть в том, что можно будет сделать 1000 екзекьюторов и писать параллельно в 1000 сессий
Можете писать в 1000 мапперов в одну таблицу , и также выгружать, надо использовать Teradata connector for Hadoop (раздаётся бесплатно)
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Можете писать в 1000 мапперов в одну таблицу , и также выгружать, надо использовать Teradata connector for Hadoop (раздаётся бесплатно)
а как это со спарком подружить?
источник

K

KrivdaTheTriewe in Data Engineers
он кучу стейдж табличек создает?
источник

K

KrivdaTheTriewe in Data Engineers
а потом как это, быстро  слить внутри терадаты можно?
источник