N
это мой сосед по сберо-грядке запилил
Size: a a a
2020 February 18
N
щас придет @dartov и всех наставит на путь истинный
K
у меня есть ярая идея люто бешено наделать мелких таблиц и каждую партицию спарковскую туда сливать
K
потом это уже самой терадатой объеденить
K
N
у меня есть ярая идея люто бешено наделать мелких таблиц и каждую партицию спарковскую туда сливать
так она вроде сама партиционируется на ура. и по колонкам и по строкам.
K
так она вроде сама партиционируется на ура. и по колонкам и по строкам.
суть в том, что можно будет сделать 1000 екзекьюторов и писать параллельно в 1000 сессий
K
а потом уже данные собрать
N
а в терадате что, столько ядер есть?
K
а в терадате что, столько ядер есть?
N
она вообще неплохо с hdfs вроде дружит.
K
она вообще неплохо с hdfs вроде дружит.
вы с вертикой не путаете?
N
какой-то маркетинговый треп на ту тему точно был
K
ну это не с хдфс, короче , там не оч все
N
А че, прям столько данных? Инкрементик через power center не заедет?
AZ
суть в том, что можно будет сделать 1000 екзекьюторов и писать параллельно в 1000 сессий
Можете писать в 1000 мапперов в одну таблицу , и также выгружать, надо использовать Teradata connector for Hadoop (раздаётся бесплатно)
K
Можете писать в 1000 мапперов в одну таблицу , и также выгружать, надо использовать Teradata connector for Hadoop (раздаётся бесплатно)
а как это со спарком подружить?
K
он кучу стейдж табличек создает?
K
а потом как это, быстро слить внутри терадаты можно?