​​Weekly Summary on AWS (January 2-8)

🔹 EMR on EKS
• Custom Image Validation Tool
• Error message details
• Customized container images including Graviton-based
• EMR Studio JupyterLab v3.1.4

🔹 OpenSearch + version 1.1
• Cross-cluster replication
• Anomaly detection for historical data
• Bucket Level Alerting
• Fine grained access control on existingexisting domains

🔹 Glue
• Interactive Sessions and Job Notebooks
• Personal Identifiable Information (PII) detection and remediation
• Autoscaling

🔹 IoT Device Management + Automated Retry

🔹 IoT Core for LoRaWAN + Downlink Queue Management and Network Analyzer

🔹 Lambda + ES Modules and Top-Level Await for Node.js 14

🔹 EKS + IPv6

🔹 ACM Private CA + Kubernetes cert-manager v1.0

🔹 Redshift + AWS Data Exchange

🔹 CloudTrail Lake

🔹 CloudWatch Logs + Organizations

🔹 ECR + repository pull statistics

🔹 EC2 Instance Tags through Metadata

🔹 QLDB + JSON

🔹 Managed Blockchain + Hyperledger Fabric v2.2 LTS

🔹 EC2 On-Demand Capacity Reservations + Cluster Placement Groups

🔹 AppStream 2.0 + SAML 2.0 federated user identities

🔹 RDS for SQL Server + SSAS Multidimensional

🔹 Firewall Manager + Shield Advanced automatic application layer DDoS mitigation

#AWS_week

Астахова смотри. Хорошо для старта. Да и не старта тоже хорошо

Спасибо большое

Аналогичный вопрос: хочу свитч в ДИ, с чего начать? В интернетах нашёл несколько роадмапов, но коли есть возможность спросить у действующего ДИ, грех не воспользоваться 😊 за что браться: шпарк, кафка, эйрфло, хадуп, на каком уровне требуется питухон?

Sql наше все )

Ну, а так нужно понимать куда конкретно big data если, то airflow, spark ( тут уже как душе угодно Scala или Python ( на питон почаще ищут) ), хадуп ( в целом плюс минус разбираться во всей хадуп инфраструктуре )
и Кафка/кафказаменители типо Nats etc на уровне понимая, что да как работает


Если же речь скорее про просто аналитические хранилища
То sql, питон на уровне асинхронщины ( не Рокет сайнс в общем ) и понимание как в целом работают MPP бд и что нибудь типо рэбита или редиски ( тут уже не маст хэв но имхо найс ту ноу), плюс важно покопаться в теории бд в части построения хранилища и тд ( анкор, датаволт)

Ну и дальше уже тоже зависит от места но часто умение работать с докером/кубером требуется


В целом мое мнение:  sql + Python в 80% будет достаточно, все остальное слишком часто меняется от компании к компании + многие сидят на самописных тулзах
( для бигдаты к тому что выше теормин про hdfs и спарк)

Ну и для старта самого можно курсик от datalearn пройти в целом дальше будет все сильно понятнее

Смотря на кого работать. Если на запад, то там облачный стек. Если для РФ то то, что выше. Но скль конечно везде.
Белорусы обычно говорят – у вас что ещё используют хадуп и аирфлоу?

а что не так с хадуп и эйрфлоу?

есть такое мнение, что это устаревшая шняга, после того как cloureda начала в 2018 помирать

А что вместо них?

Тут вопрос не про не так, а уточнение рынка, на котором будет работать человек. В России все используют он прем хадуп. На западе облака. В Беларуси и Украине все сидят в аутсорсе и используют то, что на западе.
Все конторы, которые занимались чисто хадупом или загнулись или стагнировали. Датабрикс и сноуфлейк стоят по сто миллиардов. Это косвенный ответ на то, что сейчас популярнее.
А так ещё DE чаты есть.

Вопрос, тут можно небольшой фриланс оформить?

Коротко, нужно поднять wireguard на специфичном порту, буквально на 30 минут и дропнуть
думаю успею за это время, зарегать акк и поднять самостоятельно. Но с этим трудно, когда в кз инет блочат
по поводу оплаты думаю договоримся

технически проблем нет

да

актуально :Т

есть много устаревших шняг, которые хорошо делают свое дело

Статья о наиболее вероятной архитектуре Amazon S3

Я бы ещё в строну Palantir Foundry смотрел, если про запад говорить.