GG
Дисковая активность будет низкая, gpu загружен целиком.
Если нейронка, то всё-таки ОЗУ будет шевелиться. Но, в целом, согласен
Size: a a a
2019 June 28
S
Nikolay
Как с локального Юпитера конектится на кластер хадупа ?
webhdfs, pyhive
R
какие сейчас последние тренды забора данных из rdbms в olap|hadoop с апдейтами, есть что-то помимо goldengate?
Sqoop, spark
R
Не заметил слово апдейты сначала (
Тогда все сложнее.
Всё сложно с апдейтами и hadoop.
Есть hive с orc форматом для апдейтов. Но сам я не тыкал это.
Тогда все сложнее.
Всё сложно с апдейтами и hadoop.
Есть hive с orc форматом для апдейтов. Но сам я не тыкал это.
UD
там вопрос не только в гомогенности, а ещё в том что кх по сути клал болт на данные
нук пруфы
UD
inb4 где мое cap между океанами и бесплатно
K
какие сейчас последние тренды забора данных из rdbms в olap|hadoop с апдейтами, есть что-то помимо goldengate?
реветь
N
Если нужны апдейты, возможно, лучше посмотреть в сторону реляционок. Hive transactional orc это больно. Уважаемые архитекторы тут периодически рассказывают про immutable.
N
Ну или hbase с её особенностями
N
Ну и вообще не сказать, чтобы olap и hadoop это прям похожие вещи
O
Не заметил слово апдейты сначала (
Тогда все сложнее.
Всё сложно с апдейтами и hadoop.
Есть hive с orc форматом для апдейтов. Но сам я не тыкал это.
Тогда все сложнее.
Всё сложно с апдейтами и hadoop.
Есть hive с orc форматом для апдейтов. Но сам я не тыкал это.
Там они имплементированы ужасно, в hbase естб апдейты, но вопрос не только как хранить, но и как эффективно забирать данные из бд, нагруженной, с частыми апдейтами
K
нужно эксперементировать с хайв транзакшонал имхо, если есть ресурсы
K
может подойти
O
реветь
Классный способ, начинаю пробовать
K
апдейты делают жить сложнее
K
а еще ситуация когда , в хранилище нужно хранить удаленные с источника поля, колонки
N
Там они имплементированы ужасно, в hbase естб апдейты, но вопрос не только как хранить, но и как эффективно забирать данные из бд, нагруженной, с частыми апдейтами
Вопрос про инструменты cdc?
O
Ну и вообще не сказать, чтобы olap и hadoop это прям похожие вещи
Понятно что этр не одно и тоже, но выборка данных, думаю, будет осуществляться одинаково
O
Вопрос про инструменты cdc?
Да
O
а еще ситуация когда , в хранилище нужно хранить удаленные с источника поля, колонки
Хранить одно, как быть с ddl в хайве, avro и т.п Отдельная боль