AWS as a Framework
https://medium.com/galvanize/aws-as-a-framework-9abd2b1f6dc1
Size: a a a
2021 February 03
2021 February 04
APPLE SILICON M1 AS-A-SERVICE
Scaleway has begun to offer cloud-based Apple Silicon-based Mac Minis.https://www.scaleway.com/en/hello-m1
How to unit-test your helm charts with Golang
Learn how to write Golang unit tests for your Helm charts to keep quality high and make changes with confidence.https://blog.heyal.co.uk/unit-testing-helm-charts
230 000 ₽ — зарплата middle DevOps-инженера по данным кадрового агентства NewHR.
DevOps-инженер синхронизирует все этапы создания программного продукта: от написания кода до тестирования и выпуска приложения. Такой специалист контролирует отделы разработки и администрирования плюс автоматизирует выполнение их задач, внедряя различные программные инструменты.
8 февраля в Нетологии пройдет бесплатный вебинар, на котором расскажут про принципы DevOps и профессию DevOps-инженера, а также дадут пошаговую карту развития в этой профессии.
Регистрируйтесь
https://netolo.gy/gcd
DevOps-инженер синхронизирует все этапы создания программного продукта: от написания кода до тестирования и выпуска приложения. Такой специалист контролирует отделы разработки и администрирования плюс автоматизирует выполнение их задач, внедряя различные программные инструменты.
8 февраля в Нетологии пройдет бесплатный вебинар, на котором расскажут про принципы DevOps и профессию DevOps-инженера, а также дадут пошаговую карту развития в этой профессии.
Регистрируйтесь
https://netolo.gy/gcd
This SRE atempted to roll out an HAProxy config change. You won't believe what happened next...
https://about.gitlab.com/blog/2021/01/14/this-sre-attempted-to-roll-out-an-haproxy-change
https://about.gitlab.com/blog/2021/01/14/this-sre-attempted-to-roll-out-an-haproxy-change
2021 February 05
Altair GraphQL Client
Altair is a beautiful feature-rich GraphQL Client IDE for all platforms.https://github.com/imolorhe/altair
Kubernetes Readiness Probes - Examples & Common Pitfalls
https://loft.sh/blog/kubernetes-readiness-probes-examples-common-pitfalls
https://loft.sh/blog/kubernetes-readiness-probes-examples-common-pitfalls
2021 February 06
Весёлый ролик от Corey Quinn не всем понятен, а весьма полезен. Потому далее расшифровка каждого пункта (моя версия).
💸 Managed NAT Gateway — популярная проблема, когда кажущиеся пустыми окружения жрут деньги из-за цены за NAT GW для private subnets.
💸 Amazon EBS — забытые неиспользуемые (не примонтированные) диски в разных аккаунтах жрут деньги, а в случае, если они Provisioned IOPS, то огромные деньги.
💸 Insecure S3 buckets - 450 independent "Security" researchers — в данном случае здесь, видимо, какая-то пародия на аудит безопасности, хотя при большом количестве данных расходы на S3 могут быть огромными. В помощь S3 Intelligent-Tiering и Amazon S3 Storage Lens.
💸 The Data Science team — так понимаю, команда резвящихся датасайенсистов стоит дорого.
💸 Cross AZ Data Transfer — малоприметная проблема пожирает незаметно деньги (и может большие), прикрытая общей уверенностью, что трафик внутри одного региона бесплатен.
💸 Your AWS Account Team — видимо шарж на команду AWS, которая лениво смотрит, как вы спонсируете их коктейли.
💸 RIs in the wrong region — про то, что Reserved Instances берутся на конкретный регион, иначе они просто проедают деньги. В помощь Savings Plans!
💸 CloudWatch Metrics и DataDog polling — одни из самых дорогих источников расходов на мониторинг, соревнующиеся в первенстве, кто дороже. Настраивайте нужные метрики с нужным интервалом. Как вариант – используйте Amazon Managed Prometheus.
💸 OverProvisioned IOPS — EBS диски с IOPS-ами дорогое удовольствие, потому не стоит привычно "брать с запасом", а руководствоваться адекватными метриками.
💸 Infrastructure in us-west-1 — регион N.California географически совсем рядом с Oregon (
💸 Deployed Amazon Macie — первая версия Macie была (есть) негуманно дорогая. Используйте вторую.
💸 Amazon Redshift — серьёзные вещи стоят серьёзные деньги и требуют серьёзного отношения.
💸 AWS Marketplace Vendors — поставленные из Marketplace продукты могут стоить (больших) денег – нужно не забывать отписываться от ставшего ненужным.
💸 Extra Snowball days — за каждый день свыше 10 включённых изначально, списываются деньги за пользование Snowball и это могут быть большие деньги (от десятков до сотен долларов в день).
💸 Business support on Developer accounts — план техподдержки Business стоит 100 долларов в месяц и привязан к конкретному аккаунту. Если это аккаунт для разработки, то по сравнению с Developer планом за 29$ в месяц в нём нет ничего, кроме дополнительных коктейлей для AWS Account Team выше.
💸 No expiry configured - CloudWatch logs everywhere — логи, которые никогда не удаляются, вечные ненужные бэкапы, ECR образы и куча всего другого - всё это пожирает деньги. Даже если не самые большие, но умноженное на всегда получается бесконечно много. Настраивайте
💸 Frequent Glacier Retrievals — получение данных из Glacier – дорогая операция, не нужно увлекаться, а лучше использовать S3 Intelligent Tier Archive, который теперь умеет сам складывать в Glacier и забирать оттуда
💸 EMR without Spot fleets — использование Spot fleets для EMR существенно экономит, стоит их использовать.
💸 Creds leaked on Github — не нужно публиковать свои ключи доступа на GitHub, это может стоить дорого.
💸 AWS Contracts Team — вот это я не расшифровал, буду признателен объяснению в комментариях.
p.s. Хороший пост про 10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры есть и на русском:
https://aws.amazon.com/ru/blogs/rus/10-things-you-can-do-today-to-reduce-aws-costs/
#cost_optimization
💸 Managed NAT Gateway — популярная проблема, когда кажущиеся пустыми окружения жрут деньги из-за цены за NAT GW для private subnets.
💸 Amazon EBS — забытые неиспользуемые (не примонтированные) диски в разных аккаунтах жрут деньги, а в случае, если они Provisioned IOPS, то огромные деньги.
💸 Insecure S3 buckets - 450 independent "Security" researchers — в данном случае здесь, видимо, какая-то пародия на аудит безопасности, хотя при большом количестве данных расходы на S3 могут быть огромными. В помощь S3 Intelligent-Tiering и Amazon S3 Storage Lens.
💸 The Data Science team — так понимаю, команда резвящихся датасайенсистов стоит дорого.
💸 Cross AZ Data Transfer — малоприметная проблема пожирает незаметно деньги (и может большие), прикрытая общей уверенностью, что трафик внутри одного региона бесплатен.
💸 Your AWS Account Team — видимо шарж на команду AWS, которая лениво смотрит, как вы спонсируете их коктейли.
💸 RIs in the wrong region — про то, что Reserved Instances берутся на конкретный регион, иначе они просто проедают деньги. В помощь Savings Plans!
💸 CloudWatch Metrics и DataDog polling — одни из самых дорогих источников расходов на мониторинг, соревнующиеся в первенстве, кто дороже. Настраивайте нужные метрики с нужным интервалом. Как вариант – используйте Amazon Managed Prometheus.
💸 OverProvisioned IOPS — EBS диски с IOPS-ами дорогое удовольствие, потому не стоит привычно "брать с запасом", а руководствоваться адекватными метриками.
💸 Infrastructure in us-west-1 — регион N.California географически совсем рядом с Oregon (
us-west-2), однако ресурсы в N.California на 20+ процентов дороже.💸 Deployed Amazon Macie — первая версия Macie была (есть) негуманно дорогая. Используйте вторую.
💸 Amazon Redshift — серьёзные вещи стоят серьёзные деньги и требуют серьёзного отношения.
💸 AWS Marketplace Vendors — поставленные из Marketplace продукты могут стоить (больших) денег – нужно не забывать отписываться от ставшего ненужным.
💸 Extra Snowball days — за каждый день свыше 10 включённых изначально, списываются деньги за пользование Snowball и это могут быть большие деньги (от десятков до сотен долларов в день).
💸 Business support on Developer accounts — план техподдержки Business стоит 100 долларов в месяц и привязан к конкретному аккаунту. Если это аккаунт для разработки, то по сравнению с Developer планом за 29$ в месяц в нём нет ничего, кроме дополнительных коктейлей для AWS Account Team выше.
💸 No expiry configured - CloudWatch logs everywhere — логи, которые никогда не удаляются, вечные ненужные бэкапы, ECR образы и куча всего другого - всё это пожирает деньги. Даже если не самые большие, но умноженное на всегда получается бесконечно много. Настраивайте
lifecycle policy для всего.💸 Frequent Glacier Retrievals — получение данных из Glacier – дорогая операция, не нужно увлекаться, а лучше использовать S3 Intelligent Tier Archive, который теперь умеет сам складывать в Glacier и забирать оттуда
бесплатно.💸 EMR without Spot fleets — использование Spot fleets для EMR существенно экономит, стоит их использовать.
💸 Creds leaked on Github — не нужно публиковать свои ключи доступа на GitHub, это может стоить дорого.
💸 AWS Contracts Team — вот это я не расшифровал, буду признателен объяснению в комментариях.
p.s. Хороший пост про 10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры есть и на русском:
https://aws.amazon.com/ru/blogs/rus/10-things-you-can-do-today-to-reduce-aws-costs/
#cost_optimization
Kubernetes Cost Reporting using Kubecost
https://www.infracloud.io/blogs/kubernetes-cost-reporting-using-kubecost
https://www.infracloud.io/blogs/kubernetes-cost-reporting-using-kubecost
2021 February 07
Как Netflix ведет разработку продукта
https://newsletter.maxua.com/p/-netflix-
Обзор на книгу No Rules Rules: Netflix and the Culture of Reinventionhttps://newsletter.maxua.com/p/-netflix-
Project Agumbe: Share Objects Across Namespaces in Kubernetes
At Salesforce, we use Kubernetes to orchestrate our services layer and recently ran into a use case where we wanted to apply and manage certain common objects across Kubernetes namespaces. Since there’s no native solution to share objects across namespaces or the concept of a global object, we used Kubernetes’ extensibility to solve the problem. In this post, I’ll shed light on how we accomplished this.
https://engineering.salesforce.com/project-agumbe-share-objects-across-namespaces-in-kubernetes-1fc2e1ddb3ebBuilding a Kubernetes CI/CD Pipeline with GitLab and Helm
https://nextlinklabs.com/insights/kubernetes-ci-cd-gitlab-with-helm
https://nextlinklabs.com/insights/kubernetes-ci-cd-gitlab-with-helm
2021 February 08
PostgreSQL on ARM-based AWS EC2 Instances: Is It Any Good?
https://www.percona.com/blog/2021/01/22/postgresql-on-arm-based-aws-ec2-instances-is-it-any-good
https://www.percona.com/blog/2021/01/22/postgresql-on-arm-based-aws-ec2-instances-is-it-any-good
Если ты уже знаком с основами программирования и системного администрирования, но хочешь освоить смежную высокооплачиваемую профессию и повысить свою квалификацию, то этот курс для тебя! Первые три месяца — учись бесплатно!
Ты узнаешь:
⚡️что такое CI/CD и зачем они нужны;
⚡️как работать с Git из консоли;
⚡️зачем нужна виртуализация и контейнеризация;
⚡️как установить Prometheus и Grafana;
⚡️основы управления инфраструктурой и конфигурацией и много другое.
👉Записывайся на курс «Профессия DevOps-инженер PRO» сейчас по ссылке: https://clc.am/cX-G2A
Ты узнаешь:
⚡️что такое CI/CD и зачем они нужны;
⚡️как работать с Git из консоли;
⚡️зачем нужна виртуализация и контейнеризация;
⚡️как установить Prometheus и Grafana;
⚡️основы управления инфраструктурой и конфигурацией и много другое.
👉Записывайся на курс «Профессия DevOps-инженер PRO» сейчас по ссылке: https://clc.am/cX-G2A
System Design для самых маленьких
Собрались вы как-то с другом детства Василием и решили создать стартап. Василий предлагает оригинальную идею: «а давай сделаем русский Craigslist, будет Vasyaslist?». Идея отличная, свежая. Вам нравится. Василий будет CEO, а вы — CTO.https://vitkarpov.me/posts/what-is-system-design
Ваша задача — спроектировать всю платформу с технической точки зрения. У вас есть маркерная доска, кофе и пару часов времени. Во-первых, надо понять что из себя будет представлять эта «платформа», а так же спланировать её развитие на 5 лет и понять какие нужны будут для этого ресурсы.
Вы делаете глубокий вдох, и начинаете свой рассказ. Василий внимательно слушает.
2021 February 09
Zero Downtime Release: Disruption-free Load Balancing of a Multi-Billion User Website
Zero Downtime Release is a collection of mechanisms used at Facebook to shield the end-users from any disruptions, preserve the cluster capacity and robustness of the infrastructure when updates are released globally.Four levels of maturity that bridge the AppSec / engineering divide
Level 1: Security finds problems; Engineering fixes themhttps://r2c.dev/blog/2021/four-levels-of-maturity-that-bridge-the-app-sec-engineering-divide
Level 2: Security and Engineering collaborate to produce test cases and remediations
Level 3: After the issue is fixed, Security and Engineering collaborate to find systemic fixes and develop checks
Level 4: Security and Engineering now also proactively look for new classes of issues and create systemic checks before an actual problem occurs