AS
нет, тут именно обсуждается вопрос:
когда у вас доступ к s3 то вы ограничены скоростью сети + количеством коннектов на сам s3
когда вы скопировали данные на hdfs то высока вероятность гонять/процессить данные в data locality режиме (считайте напрямую с диском работа)
долгосрочное хранение это одно
временное хранилище для файлов которые будут прочитаны много раз это совершенно другое
когда у вас доступ к s3 то вы ограничены скоростью сети + количеством коннектов на сам s3
когда вы скопировали данные на hdfs то высока вероятность гонять/процессить данные в data locality режиме (считайте напрямую с диском работа)
долгосрочное хранение это одно
временное хранилище для файлов которые будут прочитаны много раз это совершенно другое
data locality роляет при существующих сетках редко, в условном коне в вакууме когда обходится без шафлов и т.д. да выигрыш будет, а так с подъемом он деманд кластера и т.д. может быть больше проблем, чем просто поднять emr и на данных в s3 погонять джобы
