N
Ну непонятно, куда выгружать и надо ли вообще. Может просто нужна какая-то супержирная агрегация, которую не провести на проде биллинга.
Size: a a a
2020 March 30
N
Так-то и на adg можно, если дба не заметят. Или глупые.
AZ
но да, BCV это удобный способ поднимать стендбай реплику
N
в принципе логику ораупа можно легко повторить с любой батчевой выгружалкой по jdbc, хоть те же куберовские джобы генерить и писать в отдельные объекты, масштабируемость до уровня партиции и сабпартиции
можно и внутри секции параллелить, если сеть недоутилизирована, а диски позволяяют + предметная специфика понятна (range там или list)
AZ
можно и внутри секции параллелить, если сеть недоутилизирована, а диски позволяяют + предметная специфика понятна (range там или list)
ну это надо в каждую таблицу смотреть, а по партициям/сабпартициям даже первокурсник напишет параллелизацию :)
AZ
(даже я написал)
N
В одном банке на суперхайлоад базе оракловой использовалось аж 4 инстанса-прод, адг и 2 бцв копии. На прикладном уровне распихивались запросы в зависимости от требований к свежести данных и необходимости изменения.
N
ну это надо в каждую таблицу смотреть, а по партициям/сабпартициям даже первокурсник напишет параллелизацию :)
Можно взять кредит и купить экзадату, тогда и писать ничего не надо, она сама распараллелит.
AZ
Можно взять кредит и купить экзадату, тогда и писать ничего не надо, она сама распараллелит.
да-да, экзадата делает все ваши однопоточные утилиты выгрузки супер параллельными)
N
Ну скуп же умеет сейчас вроде по ключу параллелиться?
DZ
Ну скуп же умеет сейчас вроде по ключу параллелиться?
Даже Спарк умеет
2020 March 31
K
все умеет, но не все умеет взять просто партицию и потоково сливать это в хдфс без сохранения в локальный сторадж
K
партиция гигов 20-40
PK
Нифай сохраняет в локальный сторадж, но может не сразу все 20-40 гигов, а порциями. Это конечно не поток, но данные переливает и с outofmemory не падает
DZ
все умеет, но не все умеет взять просто партицию и потоково сливать это в хдфс без сохранения в локальный сторадж
У меня такая же боль
DZ
Нам нужен кастомный сорс
K
Нам нужен кастомный сорс
кастомный сорс не поможет
K
в идеологии спарка