Size: a a a

2020 March 31

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Планировщик только запускает другие джобы, сам ничего никуда не кладёт, только метаданные в БД
ну вы говорите про спецтулу
источник

K

KrivdaTheTriewe in Data Engineers
если это какая-нибудь родная, то они в локальный сторадж обычно кладут
источник

K

KrivdaTheTriewe in Data Engineers
ну кроме скупа
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
ну вы говорите про спецтулу
Да, планировщик запускает спецтулу, потом вашу бизнес логику на спарке
источник

K

KrivdaTheTriewe in Data Engineers
ну спец тула куда-то выкачивает данные?
источник

K

KrivdaTheTriewe in Data Engineers
я к тому что партиция одна большая
источник

AZ

Anton Zadorozhniy in Data Engineers
В ваш объектный сторадж
источник

K

KrivdaTheTriewe in Data Engineers
и в момент может читаться несколько партиций, теперь к хосту требование, чтобы туда много данных влезало
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Да, планировщик запускает спецтулу, потом вашу бизнес логику на спарке
какая спецтула делает это
источник

AZ

Anton Zadorozhniy in Data Engineers
Причём смотрите, если ваша бизнес логика упала - не надо заново выгружать, круто?
источник

K

KrivdaTheTriewe in Data Engineers
скуп например падает сjava.sql.SQLSyntaxErrorException: ORA-00933: SQL command not properly ended
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Причём смотрите, если ваша бизнес логика упала - не надо заново выгружать, круто?
нужно
источник

K

KrivdaTheTriewe in Data Engineers
я к тому, что какой спец тулой то выгружать, какая из спец тул умеет сча в объектный сторадж сразу писать , не убивая локальный диск
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
какая спецтула делает это
Да любая которая так написана, скуп (и все что на нем основаны вроде нелюбимого вами tdch), проприетарные выгружалки вроде того же абинишио
источник

K

KrivdaTheTriewe in Data Engineers
окромя скупа
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Да любая которая так написана, скуп (и все что на нем основаны вроде нелюбимого вами tdch), проприетарные выгружалки вроде того же абинишио
и в итоге мы упираемся в то, что они очень ограничены и пишем свое на спарке
источник

K

KrivdaTheTriewe in Data Engineers
потому что 2 скуп умеет инкремент, но никто его в здравом смысле не советует использовать
источник

K

KrivdaTheTriewe in Data Engineers
а первый скуп ограничен по функциональности
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
и в итоге мы упираемся в то, что они очень ограничены и пишем свое на спарке
так вы сюда пришли вроде потому что уперлись в ограничение спарка, нет?)
источник

AZ

Anton Zadorozhniy in Data Engineers
спарк очень ограничен при работе с огромными партициями (и также миллиардами маленьких таблиц/партиций), у него sweet spot есть и если вы в него не попадаете то мб очень больно, поэтому моя рекомендация - надо взять (или написать самим, не на спарке) специальный тул который будет гибче в части этих ограчений
источник