Телеграмм чат группы aws

пока вроде бы всем хватает)

12:25пожаловаться #1

кто подскажет как правильно решить задачку.
есть 3 региона, в каждом есть лямбда, которая делает Х, нужно как-то из лямбды сохранять запись размером ~100b состоящую из Y полей, и в последствии иметь возможность делать разные аналитическе квери по этим данным. данные не критичные, по пути можно немного терять)

12:31пожаловаться #2

данных на около 400гб в год, немного совсем)

12:32пожаловаться #3

Сохрани в любой подходящий движок базы

12:32пожаловаться #4

Как часто запросы надо делать?

12:33пожаловаться #5

запросы к данным редко, раз в месяц

12:33пожаловаться #6

Athena + S3

12:33пожаловаться #7

Roman V .

Сохрани в любой подходящий движок базы

тут проблема 3 региона, + добавка на латенси на запись, если в другой регион записывать

12:34пожаловаться #8

Mikalai Salauyou in AWS Minsk Community

s3 и CloudFront

12:36пожаловаться #9

AWS Glue Crawler fails with 11 million files on S3

Roman V .

Athena + S3

начал копать в эту сторону, но тогда получается не понятно как из лямбды в с3 писать правильно. делать в каждый регион свой стор, с синком в один общий. Записывать по 1 объекту за раз?
есть опосения, что так не прокатит. Будте что-то типо такого https://stackoverflow.com/questions/50786058/aws-glue-crawler-fails-with-11-million-files-on-s3

Stack Overflow

Got 11 million+ json files in S3.

Tried to crawl and catalog them to AWS Glue.

JSON File Details:

Each file size is from 250KB to 2MB uncompressed.

Logs:

BENCHMARK : Running Start Crawl for Cr...

12:36пожаловаться #10

Ну так пиши в бакет другого региона

12:39пожаловаться #11

так вопрос в том как в с3 положить, чтобы не было много мелких объектов, чтобы кравлер не захлебывался

12:39пожаловаться #12

Клади много мелких объектов и запускай ещё периодик, чтобы агрегировала. Или заюзай например SQS и кидай туда данные

12:43пожаловаться #13

Mikalai Salauyou in AWS Minsk Community

вместо лямбды Fargate который будет собирать более крупные файлы, так еще и дешевле выйдет

12:45пожаловаться #14

Roman V .

к этому и пришел, решил переспросить, не зашел ли я слишком далеко, мб упустил какой сервис)
в gcp поидее взял бы bigquery и туда сохранял, у авс редшифт для такого кейса очн дорогой получается

12:46пожаловаться #15

Mikalai Salauyou

вместо лямбды Fargate который будет собирать более крупные файлы, так еще и дешевле выйдет

да, очень похоже на то, что лучше с лямбды в этом случае уйти в сторону контейнера