DZ
Тоже очень просто
Size: a a a
2020 March 31
K
Зачем вообще спарк для этого использовать? Положить аккуратно специальным тулом в объектный сторадж а дальше гоу крейзи
а тул вы как вызывать будете?
K
а если нужно инкремент?
AZ
Ну не знаю, я пишу сейчас сорс для спарка и писал для скупа- скуп тупо проще и удобнее
DZ
а если нужно инкремент?
Ну скуп два в инкримент научили
K
Да, а скуп может нагенерить запросов умнее, скажем к сабпартициям в случае оракула, или к ампам для Терадата
я написал свой скуп, но вот оракал не оч
N
На spring batch налабайте. Просто, быстро, дёшево. На диск не пишет, в память всё не тянет. Батч кастомный. Параллелируется. Жава конфиг на аннотациях. С ораклом дружит из коробки. Красота.
K
Ну скуп два в инкримент научили
не верю
AZ
а тул вы как вызывать будете?
Я слышал есть такие штуки как планировщики задач, может поможет
K
На spring batch налабайте. Просто, быстро, дёшево. На диск не пишет, в память всё не тянет. Батч кастомный. Параллелируется. Жава конфиг на аннотациях. С ораклом дружит из коробки. Красота.
не нужно
DZ
не верю
DZ
На spring batch налабайте. Просто, быстро, дёшево. На диск не пишет, в память всё не тянет. Батч кастомный. Параллелируется. Жава конфиг на аннотациях. С ораклом дружит из коробки. Красота.
fs2 есть
K
Я слышал есть такие штуки как планировщики задач, может поможет
я тоже слышал, спец тула на локальный диск будет писать?
AZ
а если нужно инкремент?
Элементарно, положите вотермарк куда-нибудь и использует на следующий день
K
Элементарно, положите вотермарк куда-нибудь и использует на следующий день
да не элеентарно все)
K
особенно если схема данных на источнике меняется
K
а блин
K
инкремнет и на спарке легко
AZ
я тоже слышал, спец тула на локальный диск будет писать?
Планировщик только запускает другие джобы, сам ничего никуда не кладёт, только метаданные в БД
K
а с другими тулами решается с помощью планировщика и where