Size: a a a

2020 March 31

DZ

Dmitry Zuev in Data Engineers
Тоже очень просто
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Зачем вообще спарк для этого использовать? Положить аккуратно специальным тулом в объектный сторадж а дальше гоу крейзи
а тул вы как вызывать будете?
источник

K

KrivdaTheTriewe in Data Engineers
а если нужно инкремент?
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну не знаю, я пишу сейчас сорс для спарка и писал для скупа- скуп тупо проще и удобнее
источник

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
а если нужно инкремент?
Ну скуп два в инкримент научили
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Да, а скуп может нагенерить запросов умнее, скажем к сабпартициям в случае оракула, или к ампам для Терадата
я написал свой скуп, но вот оракал не оч
источник

N

Nikita Blagodarnyy in Data Engineers
На spring batch налабайте. Просто, быстро, дёшево. На диск не пишет, в память всё не тянет. Батч кастомный. Параллелируется. Жава конфиг на аннотациях. С ораклом дружит из коробки. Красота.
источник

K

KrivdaTheTriewe in Data Engineers
Dmitry Zuev
Ну скуп два в инкримент научили
не верю
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
а тул вы как вызывать будете?
Я слышал есть такие штуки как планировщики задач, может поможет
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
На spring batch налабайте. Просто, быстро, дёшево. На диск не пишет, в память всё не тянет. Батч кастомный. Параллелируется. Жава конфиг на аннотациях. С ораклом дружит из коробки. Красота.
не нужно
источник

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
не верю
источник

DZ

Dmitry Zuev in Data Engineers
Nikita Blagodarnyy
На spring batch налабайте. Просто, быстро, дёшево. На диск не пишет, в память всё не тянет. Батч кастомный. Параллелируется. Жава конфиг на аннотациях. С ораклом дружит из коробки. Красота.
fs2 есть
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Я слышал есть такие штуки как планировщики задач, может поможет
я тоже слышал, спец тула на локальный диск будет писать?
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
а если нужно инкремент?
Элементарно, положите вотермарк куда-нибудь и использует на следующий день
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Элементарно, положите вотермарк куда-нибудь и использует на следующий день
да не элеентарно все)
источник

K

KrivdaTheTriewe in Data Engineers
особенно если схема данных на источнике меняется
источник

K

KrivdaTheTriewe in Data Engineers
а блин
источник

K

KrivdaTheTriewe in Data Engineers
инкремнет и на спарке легко
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
я тоже слышал, спец тула на локальный диск будет писать?
Планировщик только запускает другие джобы, сам ничего никуда не кладёт, только метаданные в БД
источник

K

KrivdaTheTriewe in Data Engineers
а с другими тулами решается с помощью планировщика и where
источник