K
Планировщик только запускает другие джобы, сам ничего никуда не кладёт, только метаданные в БД
ну вы говорите про спецтулу
Size: a a a
2020 March 31
K
если это какая-нибудь родная, то они в локальный сторадж обычно кладут
K
ну кроме скупа
AZ
ну вы говорите про спецтулу
Да, планировщик запускает спецтулу, потом вашу бизнес логику на спарке
K
ну спец тула куда-то выкачивает данные?
K
я к тому что партиция одна большая
AZ
В ваш объектный сторадж
K
и в момент может читаться несколько партиций, теперь к хосту требование, чтобы туда много данных влезало
K
Да, планировщик запускает спецтулу, потом вашу бизнес логику на спарке
какая спецтула делает это
AZ
Причём смотрите, если ваша бизнес логика упала - не надо заново выгружать, круто?
K
скуп например падает сjava.sql.SQLSyntaxErrorException: ORA-00933: SQL command not properly ended
K
Причём смотрите, если ваша бизнес логика упала - не надо заново выгружать, круто?
нужно
K
я к тому, что какой спец тулой то выгружать, какая из спец тул умеет сча в объектный сторадж сразу писать , не убивая локальный диск
AZ
какая спецтула делает это
Да любая которая так написана, скуп (и все что на нем основаны вроде нелюбимого вами tdch), проприетарные выгружалки вроде того же абинишио
K
окромя скупа
K
Да любая которая так написана, скуп (и все что на нем основаны вроде нелюбимого вами tdch), проприетарные выгружалки вроде того же абинишио
и в итоге мы упираемся в то, что они очень ограничены и пишем свое на спарке
K
потому что 2 скуп умеет инкремент, но никто его в здравом смысле не советует использовать
K
а первый скуп ограничен по функциональности
AZ
и в итоге мы упираемся в то, что они очень ограничены и пишем свое на спарке
так вы сюда пришли вроде потому что уперлись в ограничение спарка, нет?)
AZ
спарк очень ограничен при работе с огромными партициями (и также миллиардами маленьких таблиц/партиций), у него sweet spot есть и если вы в него не попадаете то мб очень больно, поэтому моя рекомендация - надо взять (или написать самим, не на спарке) специальный тул который будет гибче в части этих ограчений