В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

AWS Minsk Community

293 membersпожаловаться на группу
2020 January 31

ИО

Илья Обухов in AWS Minsk Community
Всем привет!
Подскажите, пожалуйста два момента:
1. Как настроить request body
2. как настроить template,  для вытягивания pass or query param, преобразования в json и дальнейшию передачу в lambda
Это все в api gateway и через cdk

Прошурстил интернет, ничего талкового не нашел
источник
15:17пожаловаться#1

AP

Alexander Patrushev in AWS Minsk Community
Hleb Albau
кто подскажет как правильно решить задачку.
есть 3 региона, в каждом есть лямбда, которая делает Х, нужно как-то из лямбды сохранять запись размером ~100b состоящую из Y полей, и в последствии иметь возможность делать разные аналитическе квери по этим данным. данные не критичные, по пути можно немного терять)
Я бы складывал в s3 как отдельные файлы с партицированием по дате. По этим данным можно напрямую сделать запросы через Glue (сделать каталог при помощи crawler)+ Athena.
Можно как в каждом регионе отделено, хоть настроить синхронизацию в единый регион.
источник
15:46пожаловаться#2

AP

Alexander Patrushev in AWS Minsk Community
Hleb Albau
тут проблема 3 региона, + добавка на латенси на запись, если в другой регион записывать
Вы может писать в отдельные регионы и потом синхронизировать данные в один регион.
источник
15:47пожаловаться#3

AP

Alexander Patrushev in AWS Minsk Community
Hleb Albau
начал копать в эту сторону, но тогда получается не понятно как из лямбды в с3 писать правильно. делать в каждый регион свой стор, с синком в один общий. Записывать по 1 объекту за раз?
есть опосения, что так не прокатит. Будте что-то типо такого https://stackoverflow.com/questions/50786058/aws-glue-crawler-fails-with-11-million-files-on-s3
Stack Overflow
AWS Glue Crawler fails with 11 million files on S3
Got 11 million+ json files in S3.

Tried to crawl and catalog them to AWS Glue.

JSON File Details:

Each file size is from 250KB to 2MB uncompressed.

Logs:

BENCHMARK : Running Start Crawl for Cr...
Чтоб такого не происходило нужно иногда, например раз в день, делать через тот же glue (или что-то другое) merge всех данных за предыдущий день в один файл и как вариант ещё конвертировать в parquet
источник
15:49пожаловаться#4

AP

Alexander Patrushev in AWS Minsk Community
Mikalai Salauyou
вместо лямбды Fargate который будет собирать более крупные файлы, так еще и дешевле выйдет
Fargate on spot ) чтоб дешевле
источник
15:50пожаловаться#5

RV

Roman V . in AWS Minsk Community
Hleb Albau
к этому и пришел, решил переспросить, не зашел ли я слишком далеко, мб упустил какой сервис)
в gcp поидее взял бы bigquery и туда сохранял, у авс редшифт для такого кейса очн дорогой получается
Динама?
источник
21:39пожаловаться#6

RV

Roman V . in AWS Minsk Community
@patrick239 тут явно напрашивается на приглашение в марте на митап?)
источник
21:40пожаловаться#7

HA

Hleb Albau in AWS Minsk Community
вообще с с3 и динамой дорого выходет, проще в кинезис сразу писать и в нем батчем паркетить
источник
21:46пожаловаться#8

HA

Hleb Albau in AWS Minsk Community
это если рассматривать сколько стоить 1 write в динаму и s3 и в firehose
источник
21:46пожаловаться#9

RV

Roman V . in AWS Minsk Community
А может прямо на ходу обсчитывать, что надо вывести в запросах?
источник
21:47пожаловаться#10

RV

Roman V . in AWS Minsk Community
Фигачить метриками в клаудвотч например
источник
21:48пожаловаться#11

HA

Hleb Albau in AWS Minsk Community
тут как обычно - давайте соберем, а дальше подумаем что оттуда доставать будем)
источник
22:05пожаловаться#12

AP

Alexander Patrushev in AWS Minsk Community
Hleb Albau
это если рассматривать сколько стоить 1 write в динаму и s3 и в firehose
А вы точно правильно посчитали firehose?
источник
23:27пожаловаться#13

AP

Alexander Patrushev in AWS Minsk Community
Там есть такой момент, что каждая запись округляется до ближайшего кратного 5 кб.
источник
23:28пожаловаться#14

AP

Alexander Patrushev in AWS Minsk Community
Причём запись это не write, а именно record
источник
23:31пожаловаться#15
2020 February 01

HA

Hleb Albau in AWS Minsk Community
Да,  даже с учетом этого, все равно дешевле(конкретно по 1 записывать)
источник
00:00пожаловаться#16

AP

Alexander Patrushev in AWS Minsk Community
Точно, согласен. Проверил сейчас себя. Там разница весомая будет.
источник
00:21пожаловаться#17

HA

Hleb Albau in AWS Minsk Community
Alexander Patrushev
Точно, согласен. Проверил сейчас себя. Там разница весомая будет.
Вот я когда подсчитал - тоже удивился. Интуитивно кажется, что вариант с с3 всегда дешевле, но нет.
источник
00:55пожаловаться#18
2020 February 02

AS

Alexey Stekov in AWS Minsk Community
Спам
источник
04:34пожаловаться#19

E

EmailBoss in AWS Minsk Community
Alexey Stekov
Спам
Ты видишь спам?
источник
11:33пожаловаться#20