неплохо, я для тф пилил кастомную лямбду :(

Example 3: Function triggered by a CloudWatch Logs subscription
You can integrate CloudWatch Logs very easily with AWS Lambda using Subscription Filters. This is very useful for server log analysis. You can have your application logs delivered to CloudWatch Logs and then have them pre-processed, analyzed or forwarded to other locations using a Lambda function.

Example: 10 EC2 servers, each sending 1 record per second (26M executions per month), Average execution time: 5s, provisioned memory: 256MB. Approximate monthly cost: $547 USD

https://www.concurrencylabs.com/blog/aws-lambda-cost-optimization-tools/

Привет! подскажите,  насколько дорого решение - сгребать лямбдой логи с клаудвотча и пушить их на еластик сёрч?
я вот не пойму - как часто лямбда будет тригерится... если на каждую новую запись в лог - получается ну прямо не дёшево

возможно тебе нужно такое решение
https://www.oreilly.com/library/view/aws-automation-cookbook/9781788394925/30fd87cf-3d67-4363-a95a-5208296d32cb.xhtml

streaming of CloudWatch logs in Elasticsearch

У меня прям почти один в один ситуация
И как я понял прям на каждое событие (запись) и будет тригерится

а смотрели в сторону того что выше сбросили?

Через Kinesis дешевле должно быть: https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Subscriptions.html

Через Subscriptions? в примере там зип архив несколькими  записями, значит батчится как-то.

У меня случай немного отличается и надо слать логи во вне aws

дак оно под капотом лямбду создаёт =)

да, спасбо, но всё равно тяжко прикинуть сколько это будет стоить)

Доставка логов стоить походу будет дороже чем вычислительные мощности для приложения))

я вот что думаю - мне риалтайм вообще не упёрся... может по крону лямбду/ecs таску запускать 🤔

У меня такая же ситуация
Реалтайм нафиг не нужен
Думаю тоже раз в Х минут запускать уже будет полегче

вообще оно батчится https://docs.aws.amazon.com/lambda/latest/dg/services-cloudwatchlogs.html

и не супер много инвоков

UPTIME от ITSUMMA!  Рекомендую! Да, кроме шуток. Хотя, конечно, не в полном формате и не оффлайн: чёртов вирус прижал все конференции в этом году. Мы, к сожалению, не исключение. Но больно было сдавать 2020-му наш Аптайм без боя.
Поэтому в эту пятницу мы проводим Аптайм-митап. Он будет посвящён машинному обучению. Спикеры из Яндекса, Selectel, Epoch8, Servers.ru и ITSumma. Подробности здесь.

что то сегодня апи эндпойнты не стабильны. никто не сталкивался?

 Could not connect to the endpoint URL: "https://elasticloadbalancing.us-east-1.amazonaws.com/"

до этого SSM эндпойнт отказывал пару раз