GP
Окей , компьют то где то есть ?
какой комптют?
Size: a a a
2021 March 06
GP
многие просто так хдфс поднимают как помойку файлов юзают
GP
что вообще есть компют то
GP
не понимаю менеджер ресурсов или что?
K
многие просто так хдфс поднимают как помойку файлов юзают
В Амазоне ?
AZ
Окей , компьют то где то есть ?
AWS Batch, Fargate
GP
В Амазоне ?
ну да дешевле типа
K
AWS Batch, Fargate
Ну можно их взять окей
K
ну да дешевле типа
Чем с3 ?
GP
да вообще можно спрото иметь хдфс растянутую и чем угодно в нее ходить
GP
Чем с3 ?
для интенсивных ридов райтов - да
GP
в разы
GP
s3 чаржит за манипуляции ж
A
ты в прод так пускаешь?
Я пускал :) правда не спарк а флинк, потому что "машинки застряли на границе, код написан, надо процессить"
На локал машине с local[*] пришлось запускать, так как стендалон кластер подымать с секурити задолбался бы
Как-то работало, но больше такого опыта не хочу
На локал машине с local[*] пришлось запускать, так как стендалон кластер подымать с секурити задолбался бы
Как-то работало, но больше такого опыта не хочу
K
Ок ,можно Амазон батч
GP
да можно просто машинку поднять отдельную которая будет шарить сетку и ходить в хдфс
K
Я к тому что Спарк можно запустить ста способами , какой нибудь вам подойдёт
GP
по контексту вопроса не ясно вообще что нужен спарк
GP
мож там просто фс распределенная исторически хдфс
K
по контексту вопроса не ясно вообще что нужен спарк
Я порккомелрвпл как один из способов