ME
А у вас transient cluster? или один клаастер где надо обаа клиентаа держать?
Size: a a a
2021 April 20
ME
Можно попробовать с помощью s3:// сходить в другое object storage и посмотреть как оно работать будет, в теории должно
ME
если кластер временный и нужен только один клиент, то можно либо через зависимость решить, либо через init action
AE
кластеры эфемерные. мне просто надо резалт в яндекс клауд отдать (клиент из россии :/ который там хостится)
AE
ну и себе копию оставить конечно
AE
а в 6 емр по ходу выпилили s3a с концами, а ихний амазоновский кастомных эндпоинтов не поддерживает
ME
Интересно:)
Ну тогда либо init action, либо версию постарее где есть s3a, либо запустить скачиваание из я.облакаа
Ну тогда либо init action, либо версию постарее где есть s3a, либо запустить скачиваание из я.облакаа
AE
короче нативно не получится
АР
у яндекс-облака такое есть
https://cloud.yandex.ru/services/data-transfer
https://cloud.yandex.ru/services/data-transfer
АР
можеи вам поможет
АР
а, хотя нет, там только мускуль и постгря
ME
Можно кластер в я.облаке запустить и скачивать наоборот https://cloud.yandex.ru/services/data-proc
AE
ну тут два пути. либо поднимать какой-то внешний тулинг (чего мне делать прям совсем не хочется), либо писать кастомный хадуповский FileSystem
AE
это если делать по науке. но я извращенец, и всё делаю не по науке, так что вероятно найду место, где из спаркового апи торчит какой-нить OutputStream, и врежусь прямо туда. оберну его, и перенаправлю в s3client
AE
тянет на пару сотен строк говнокода
ME
Поддерживать не лень? Или пофиг если одноразово?
AE
ну FileSystem тянет на гораздо больший эффорт
ME
Как хотите:)
AE
со всей инфраструктурой там парой и тыщ строк не отделаться, явно больше усилий уйдёт
ME
Можете потом этим кодом поделиться?