N
Size: a a a
2022 January 03
2022 January 04
M
спасибо за наводку
T
Какой сервис подойдет для запуска front, back app? На js?
S
App runner
N
Гружу 9 миллионов маленьких файлов через boto3.put_object. в 20 параллельных потоков. Есть ли способ ускорить загрузку кроме как вызывать в параллель? Может можно что-то еще сделать? Например отключить как-то рассчет md5 или что-то другое?
VA
S3 Transfer Acceleration?
VA
можно пожать файлики в архивы, закачать архив на EC2 виртуалку, распаковать и оттуда залить в S3
IS
Писать параллельно неплохо вариант, но я бы еще задал вопрос, зачем вам записывать 9 млн маленьких файлов? S3 тарифицирует каждый put отдельно. 9 млн файлов - это 9000 тарифицируемых putов
E
Ребят, подскажите, можно ли из лямбды в одном регионе обращаться к бакету из другого региона?
Когда пытаюсь это сделать получаю ошибку:
"PermanentRedirect: The bucket you are attempting to access must be addressed using the specified endpoint. Please send all future requests to this endpoint."
Если запускаю лямбду в том же регионе, что и бакет, то все работает
Когда пытаюсь это сделать получаю ошибку:
"PermanentRedirect: The bucket you are attempting to access must be addressed using the specified endpoint. Please send all future requests to this endpoint."
Если запускаю лямбду в том же регионе, что и бакет, то все работает
E
Именно так и делаю. Для S3 клиента свой регион, для Lambda клиента свой
E
Да, мне кажется так бы оно не работало, когда в одном регионе запускаю лямбду и дергаю бакет
E
может, потому и спрашиваю. Но убирать лямбды из других регионов - не вариант.