С наступающим (а кое кого уже и с наступившим) Новым Годом, друзья! Много девяток, поменьше скушных митингов, факапов и душных коллег. Stay tuned!
Size: a a a
2020 December 31
2021 January 01
Занимательная статья на Хабре (http://slurm.club/2KtNgD7) о том, почему Apache Kafka такая шустрая и популярная. Для тех, кто работает с технологией советуем ознакомиться с тем, что у кафки “под капотом”. Это многое объясняет. Например, можно почитать про батчинг записей, пакетное сжатие, буферизованные операции, zero-copy и другие фишечки.
DataHub: Popular metadata architectures explained
https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained
https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained
Пишем шаблон аутентификации с нуля, используя Go, GoFiber и PostgreSQL:
- Реализация сервера с PostgreSQL
- Настройка маршрута SignUp
- Реализация маршрута входа и частных маршрутов с обновлением токенов
- Реализация сервера с PostgreSQL
- Настройка маршрута SignUp
- Реализация маршрута входа и частных маршрутов с обновлением токенов
2021 January 03
DevOps — их популярность растет с каждым днем.
Девопсы нужны всем и желательно вчера.
А чтобы запрыгнуть в вагон уходящего поезда — скорее регистрируйтесь на бесплатный вебинар «Как стать DevOps-инженером» образовательной экосистемы GeekBrains Mail.Ru Group. Вам расскажут, кто такие devops-инженеры и какие проблемы они решают.
За полтора часа вы узнаете:
– стандартные практики управления и администрирования IT-инфраструктуры;
– проблемы пользователей, связанные с данными практиками;
– возможности, появляющиеся со сменой подхода;
– требования к успешной работе инженеров и администраторов.
Блестящая IT-карьера ждет вас после первого шага на вебинаре → https://geekbrains.ru/link/G~eSGx
Девопсы нужны всем и желательно вчера.
А чтобы запрыгнуть в вагон уходящего поезда — скорее регистрируйтесь на бесплатный вебинар «Как стать DevOps-инженером» образовательной экосистемы GeekBrains Mail.Ru Group. Вам расскажут, кто такие devops-инженеры и какие проблемы они решают.
За полтора часа вы узнаете:
– стандартные практики управления и администрирования IT-инфраструктуры;
– проблемы пользователей, связанные с данными практиками;
– возможности, появляющиеся со сменой подхода;
– требования к успешной работе инженеров и администраторов.
Блестящая IT-карьера ждет вас после первого шага на вебинаре → https://geekbrains.ru/link/G~eSGx
Отличное введение в очереди/брокеры сообщений
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
How to sell SLOs to Engineering Directors
https://medium.com/brexeng/how-to-sell-slos-to-engineering-directors-9c6379c3f246
https://medium.com/brexeng/how-to-sell-slos-to-engineering-directors-9c6379c3f246
2021 January 04
Как разработчик Golang вы, вероятно, сталкивались с циклами импорта. Golang не допускает циклов импорта, выдавая ошибку компиляции при обнаружении цикла импорта в коде. В статье автор разбирается, как происходит цикл импорта и как с ними бороться.
https://proglib.io/w/406fcd6c
https://proglib.io/w/406fcd6c
2021 January 05
❓Какие навыки помогут админу и системному инженеру поднять свою ценность как специалиста?
Об этом 20 января вы узнаете от Алексея Цыкунова, ведущего эксперта Linux. Алексей расскажет о технологиях виртуализации и кластеризации, которые необходимы для повышения квалификации, и представит программу «Administrator Linux. Advanced».
Вы узнаете, чем отличается курс и как организована практика.
Пройдите вступительный тест, чтобы быть готовым ко встрече с экспертом и не упустить 🎉праздничную скидку 30%🎉
Регистрируйтесь на вебинар уже сейчас: https://otus.pw/8vM8/
Об этом 20 января вы узнаете от Алексея Цыкунова, ведущего эксперта Linux. Алексей расскажет о технологиях виртуализации и кластеризации, которые необходимы для повышения квалификации, и представит программу «Administrator Linux. Advanced».
Вы узнаете, чем отличается курс и как организована практика.
Пройдите вступительный тест, чтобы быть готовым ко встрече с экспертом и не упустить 🎉праздничную скидку 30%🎉
Регистрируйтесь на вебинар уже сейчас: https://otus.pw/8vM8/
Everything You Need to Know About CI/CD and Security
https://www.tripwire.com/state-of-security/devops/everything-need-to-know-about-ci-cd-security/
https://www.tripwire.com/state-of-security/devops/everything-need-to-know-about-ci-cd-security/
2021 January 06
💾 Собственно, в разное время ссылки из этой подборки были у меня на канале, а тут они все собраны в одном месте - 12 Podman guides to get started with containers. #podman #напочитать #containers
#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 2.
6. New Linux Slab Allocator
Slab аллокатор в системе Linux заточен на то, чтобы переиспользовать выделенную память для часто встречающихся структур данных и вообще контролировать большинство аллокаций в самом ядре. Роман Гущин из Facebook нашёл большую проблему в том, что аллокации не переиспользуются между различными cgroup. Инженеры из Google нашли неоптимальный O(n^2) алгоритм для освобождения памяти при загруженной машины в shrink_slab. Большой лист из 47 патчей был принят в Linux 5.9, который ведёт к 45% лучшей утилизации, петабайтам сэкономленной оперативной памяти и миллионам ядер в Facebook и Google.
7. unfork(2)
С первого взгляда не самый примечательный репозиторий, но он предлагает user space функциональность по слиянию адресных пространств двух процессов в одно. Работает через свежедобавленные системные вызовы ядра как userfaultfd(2), который помогает лениво, только при pagefault, обрабатывать такие изменения. Надеюсь, мы увидим больше таких решений, например, в оптимизациях памяти в Chromium и базах данных.
8. io_uring
После долгих лет споров с Линусом по поводу того, как должен выглядеть асинхронный интерфейс работы с IO, наконец-то был достигнут консенсус и стабилизировался io_uring. Этот вызов вам позволит асинхронно задавать сразу много запросов к устройству, выжимая максимум из вашего железа. Бенчмарки при сильно загруженных дисках по сравнению со старым io_submit, показывают улучшение на 3-6%, но самое главное, что теперь интерфейс максимально удобен и каноничен.
9. rseq в TCMalloc
Мы наконец-то стали видеть применение Restartable Sequences в реальных приложениях, чтобы избегать долгих блокировок при чтении памяти, которая потенциально находится на том же логическом ядре. Аллокатор TCMalloc, который используется во всём Google, выиграл до 50% перформанса, применив эту парадигму.
10. SQLancer
Исследователи из ETH Zurich выложили весьма простой и понятный фаззер запросов, который проверяет какие-то простые логические условия в зависимости от вставленных данных в таблицы. В итоге суммарно было найдено около 400(!) багов, 10-15 различных SEGFAULT в самых популярных базах данных как SQLite, MySQL, PostgreSQL и, конечно же, этот труд был приглашен на две топовые конференции OSDI и OOPSLA. Одна из лучших и элегантных статьей на 2020 год, по моему мнению.
To be continued...
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 2.
6. New Linux Slab Allocator
Slab аллокатор в системе Linux заточен на то, чтобы переиспользовать выделенную память для часто встречающихся структур данных и вообще контролировать большинство аллокаций в самом ядре. Роман Гущин из Facebook нашёл большую проблему в том, что аллокации не переиспользуются между различными cgroup. Инженеры из Google нашли неоптимальный O(n^2) алгоритм для освобождения памяти при загруженной машины в shrink_slab. Большой лист из 47 патчей был принят в Linux 5.9, который ведёт к 45% лучшей утилизации, петабайтам сэкономленной оперативной памяти и миллионам ядер в Facebook и Google.
7. unfork(2)
С первого взгляда не самый примечательный репозиторий, но он предлагает user space функциональность по слиянию адресных пространств двух процессов в одно. Работает через свежедобавленные системные вызовы ядра как userfaultfd(2), который помогает лениво, только при pagefault, обрабатывать такие изменения. Надеюсь, мы увидим больше таких решений, например, в оптимизациях памяти в Chromium и базах данных.
8. io_uring
После долгих лет споров с Линусом по поводу того, как должен выглядеть асинхронный интерфейс работы с IO, наконец-то был достигнут консенсус и стабилизировался io_uring. Этот вызов вам позволит асинхронно задавать сразу много запросов к устройству, выжимая максимум из вашего железа. Бенчмарки при сильно загруженных дисках по сравнению со старым io_submit, показывают улучшение на 3-6%, но самое главное, что теперь интерфейс максимально удобен и каноничен.
9. rseq в TCMalloc
Мы наконец-то стали видеть применение Restartable Sequences в реальных приложениях, чтобы избегать долгих блокировок при чтении памяти, которая потенциально находится на том же логическом ядре. Аллокатор TCMalloc, который используется во всём Google, выиграл до 50% перформанса, применив эту парадигму.
10. SQLancer
Исследователи из ETH Zurich выложили весьма простой и понятный фаззер запросов, который проверяет какие-то простые логические условия в зависимости от вставленных данных в таблицы. В итоге суммарно было найдено около 400(!) багов, 10-15 различных SEGFAULT в самых популярных базах данных как SQLite, MySQL, PostgreSQL и, конечно же, этот труд был приглашен на две топовые конференции OSDI и OOPSLA. Одна из лучших и элегантных статьей на 2020 год, по моему мнению.
To be continued...
How GitOps Improves the Security of Your Development Pipelines
Наткнулся на свежую статью, приводящую примеры того, как методология GitOps может улучшить безопасность вашей среды. К основным примерам относятся аудит и ограничение доступа CI/CD системы. Про проблемы классического подхода DevOps и решения GitOps также можно прочитать в статьях:
- How secure is your CICD pipeline?
- How GitOps Raises the Stakes for Application Security
Однако, как и везде, есть подводные камни. Хорошая статья на тему рисков, связанных с GitOps:
- Securing GitOps Pipeline
В основном здесь все сводится к угрозам системы контроля версий, но не стоит также забывать про RBAC. Ведь, несмотря на широкое ограничение доступа согласно методологии, оператор GitOps все еще может стать отправной точкой для злоумышленника. Еще одна проблема - сильная зависимость от кода и уход от подходов, связанных с контролем Run-time через тот же OPA. Как показывает практика, статические анализаторы далеко не всегда хороши в определении полной картины проблем, связанных с ИБ.
Пока комьюнити ищет золотую середину в подходах, предлагаю вам также прочитать следующий материал:
- GitOps Security with k8s-security-configwatch by Sysdig
- Access Control & Security (GitOps and Kubernetes Book) (у кого есть полная версия книги, буду рад почитать)
Кстати, если вы не знакомы с методологией, то мне нравится перевод от Flant.
#ops #k8s
Наткнулся на свежую статью, приводящую примеры того, как методология GitOps может улучшить безопасность вашей среды. К основным примерам относятся аудит и ограничение доступа CI/CD системы. Про проблемы классического подхода DevOps и решения GitOps также можно прочитать в статьях:
- How secure is your CICD pipeline?
- How GitOps Raises the Stakes for Application Security
Однако, как и везде, есть подводные камни. Хорошая статья на тему рисков, связанных с GitOps:
- Securing GitOps Pipeline
В основном здесь все сводится к угрозам системы контроля версий, но не стоит также забывать про RBAC. Ведь, несмотря на широкое ограничение доступа согласно методологии, оператор GitOps все еще может стать отправной точкой для злоумышленника. Еще одна проблема - сильная зависимость от кода и уход от подходов, связанных с контролем Run-time через тот же OPA. Как показывает практика, статические анализаторы далеко не всегда хороши в определении полной картины проблем, связанных с ИБ.
Пока комьюнити ищет золотую середину в подходах, предлагаю вам также прочитать следующий материал:
- GitOps Security with k8s-security-configwatch by Sysdig
- Access Control & Security (GitOps and Kubernetes Book) (у кого есть полная версия книги, буду рад почитать)
Кстати, если вы не знакомы с методологией, то мне нравится перевод от Flant.
#ops #k8s
"Architecture Ownership Patterns For Team Topologies. Part 1: A Business Architecture Model" by Nick Tune
- https://medium.com/nick-tune-tech-strategy-blog/team-responsibility-ownership-patterns-part-1-a-business-architecture-model-63597c4e60e1
"Architecture Ownership Patterns for Team Topologies. Part 2: Single Team Patterns" by Nick Tune
- https://medium.com/nick-tune-tech-strategy-blog/architecture-ownership-patterns-for-team-topologies-part-2-single-team-patterns-943d31854285
Цикл статей о том, как выравнивать команды и компоненты системы. Полезна всем, кто распределяет зоны ответственностей команд.
#DDD #Microservices #SoftwareArchitecture
- https://medium.com/nick-tune-tech-strategy-blog/team-responsibility-ownership-patterns-part-1-a-business-architecture-model-63597c4e60e1
"Architecture Ownership Patterns for Team Topologies. Part 2: Single Team Patterns" by Nick Tune
- https://medium.com/nick-tune-tech-strategy-blog/architecture-ownership-patterns-for-team-topologies-part-2-single-team-patterns-943d31854285
Цикл статей о том, как выравнивать команды и компоненты системы. Полезна всем, кто распределяет зоны ответственностей команд.
#DDD #Microservices #SoftwareArchitecture
Xудшие практики для Ansible. Георгий Шуклин
https://habr.com/ru/post/536256/?utm_source=habrahabr&utm_medium=rss&utm_campaign=536256
Tags: Системное администрирование, Системное программирование, DevOps, ansible
Author chemtech #habr
https://habr.com/ru/post/536256/?utm_source=habrahabr&utm_medium=rss&utm_campaign=536256
Tags: Системное администрирование, Системное программирование, DevOps, ansible
Author chemtech #habr
