Prometheus monitoring with Elastic Stack in Kubernetes

#k8s #prometheus #elk #kubernetes #redis #fluentd #grafana #traefik

Погрепаем утечек рутин? 😯

https://www.trailofbits.com/post/discovering-goroutine-leaks-with-semgrep

Друзья, вы наверное знаете, что в самое ближайшее время (31.05-01.06) пройдет конференция DevOpsConf2021, где я поучаствовал в программном комитете и где мы постарались с коллегами отобрать интересные и актуальные доклады для вас, ну и конечно для себя - отобрал несколько, которые пересекаются с работой ну или просто интересные:

«Kubernetes cluster. Testing Performance and Scalability» — Очень жду, что тут расскажут про большие кластера и их эксплуатацию
«GitOps — что это такое и с чем его едят?» — Ликбез по GitOps от @kvaps - потому что он будет рассказывать про CI/CD на большое количество кластеров k8s и bare metal. Ну и вообще, это же @kvaps!
«Immutable infrastructure — достигая недостижимого идеала» — Очень люблю доклады на эту тему и всячески поддерживаю этот подход
«Развёртывание и обновление инфраструктурного слоя облака» — Еще один доклад про большие инфраструктуры
«Vitastor, или Как я написал свою хранилку» — Всегда интересно, чем руководствуются люди когда пишут свои "велосипеды"

Из не технических докладов точно будет интересна дискуссия про SRE,
нравится «Почему DevOps-отдел — это пустая трата сил и времени?»
ну и интересно как зайдет @SinTeZoiD с его набросом про SRE

Это только из того что вспомнил сразу - докладов очень много и на любой вкус. Постараюсь что нибудь потранслировать текстом, если будет время. Если кто-то сомневается или в раздумьях, то может быть этот промокод вам поможет принять решение - DevOpsFriends2021 https://devopsconf.io/moscow/2021

Делаем резервные копии postgres на s3 (minio)

В гисте приложен кусочек плейбука ansible который настраивает резервное копирование через mc клиент. скрипт умеет выгружать в bucket по-отдельности каждую базу из списка, оценивать размер и время совершения последнего копирования каждой базы и отдавать эту информацию в формате prometheus, а также подчищать из s3 устаревшие копии.

https://gist.github.com/bykvaadm/434a4eef5392528c9c0e4788937301bc

#postgres
#docker
#patroni
#ansible
#minio
#prometheus

Что такое стек вызовов в Go и как работают стек трейсы. 🥸

https://github.com/DataDog/go-profiler-notes/blob/main/stack-traces.md

Наш инженер снова рассказывает про разные бэкенды для Vault — теперь с точки зрения их бэкапов: https://habr.com/ru/company/flant/blog/558910/

​Познакомься с профессией 1С-разработчика! Научить программировать и разбираться в тонкостях создания баз данных для любого предприятия.

Переходи по ссылке и регистрируйся: 👉 https://clc.am/UL9Vvw.

Ты узнаешь:
🖱 кто такой разработчик 1С и почему он востребован на рынке;
🖱 какие софт- и хард-скилы нужны разработчику 1С;
🖱 что такое платформа 1С и её основные объекты;
🖱 как создавать проводки, документы, отчёты и автоматизировать процессы.

💬 Спикер интенсива: основатель и руководитель Центра автоматизации SlavVer, работал в компании “Первый БИТ”— Вячеслав Вербий.

💼 К концу интенсива ты создашь свой проект — базу для торгового предприятия.

🎁 Каждый участник интенсива, который выполнит домашнюю работу, получит сертификат на 15 000 рублей на оплату любого курса в Skillbox и электронную книгу «Век живи — век учись» Кей Петерсон и Дэвида Колба издательства МИФ.

Мы ждём тебя 27–29 мая в 21:00 по московскому времени.

​​Pro K8s
kuberhealthy - a Kubernetes operator for running synthetic checks as pods. Works great with Prometheus!

👉 https://bit.ly/2TbPJGt

#kubernetes

[Перевод] Внутренности Linux: как /proc/self/mem пишет в недоступную для записи память
https://habr.com/ru/post/559322/?utm_source=habrahabr&utm_medium=rss&utm_campaign=559322
Tags: Блог компании Mail.ru Group, Ненормальное программирование, *nix, C, Разработка под Linux, linux, proc, никто не читает теги
Author AloneCoder #habr

​​Перевели для вас отличную статью
Сеть контейнеров — это не сложно 🤩

Работа с контейнерами многим кажется волшебством, пришло время разобраться как работает сеть Docker. Мы покажем на примерах, что это совсем не сложно. Нам потребуется немного сетевой магии и никакого кода ...

В этой статье мы ответим на следующие вопросы:
- Как виртуализировать сетевые ресурсы, чтобы контейнеры думали, что у каждого из них есть выделенный сетевой стек?
- Как превратить контейнеры в дружелюбных соседей, не дать им мешать друг другу и научить хорошо общаться?
- Как настроить сетевой доступ из контейнера во внешний мир (например, в Интернет)?
- Как получить доступ к контейнерам, работающим на сервере, из внешнего мира (публикация портов)?

#docker

​🔥DevOps, пора расти дальше! Начните путь к апу на бесплатных вебинарах онлайн-курса «Инфраструктурная платформа на основе Kubernetes»:

📌«Demo Day курса «Инфраструктурная платформа на основе Kubernetes»: https://otus.pw/wC6j/
— Ответим на все вопросы, расскажем о хардкорной программе, преподавателях и темах, необходимых для сертификации от CNCF. Поделимся инсайдами о карьерных перспективах и максимальных скидках на курс.

📌2-дневный практический интенсив «Примитивы, контроллеры и модели безопасности k8s»: https://otus.pw/SuKv/
Регистрируйтесь сейчас — напомним в день вебинара!

Чтобы первый блин не вышел комом. Советы начинающему разработчику сервиса
https://habr.com/ru/post/559298/?utm_campaign=559298&utm_source=habrahabr&utm_medium=rss

Материал адресован всем специалистам, работающим с данными, которые решили написать первое веб-приложение. В данной публикации я не буду выкладывать листинги кода. На просторах Интернета есть масса практических примеров сборки сервисов, написанных на разных фреймворках. Но вот теоретических статей о логике процесса, архитектуре решения, а, главное, трудностях, с которыми впервые столкнется специалист, крайне мало. Я решил заполнить эту нишу и описать свой личный опыт, который кому-то может быть полезен.

И вот ещё подкидывают ссылку на другой проект для анализа логов - http://lnav.org/

#фидбечат #logs #cli

Git на практике. Учимся поддерживать репозиторий в порядке

Статья может быть полезна начинающим разработчикам, которые хотят улучшить свою экспертизу в работе с Git, а также людям, которые хотят, но не знают, как держать свой репозиторий в чистоте и порядке.

В начале статьи автор описывает свое видение «правильного» репозитория. Основным отличием такого репозитория является чистая история коммитов. Каждый из этих коммитов должен быть осмысленной атомарной единицей изменений в проекте. Это значит, что наша история не должна содержать коммиты с сообщениями по типу «feature in progress». Ваша задача как разработчика научиться делить все вносимые изменения на такие атомарные единицы. Описанный ниже материал поможет вам этого добиться.

https://proglib.io/w/3f04ec5b

🆖 Including Tracing Headers In Nginx 1.18.0 Access Logs Using Custom Formatting - и небольшая заметка о том, как можно логи Nginx модифицировать, что бы понять на каком этапе соединения возникают проблемы.

#nginx #logs #напочитать

QUIC - a planned successor of TCP - is now formalized as RFC 9000.

QUIC was initially developed at Google, but later adopted by IETF. It provides some TCP-like features on top of UDP in order to overcome latency and packet loss, especially in the last mile.

HTTP/3, which is built on top of QUIC is not formalized yet, but it's following closely behind. So, it will be likely released soon as well.

So, with HTTP/3 around the corner, have you already switched to HTTP/2?

#networking #quic

Ребята, мы сделали не большой список постов и видеозаписей на русском:
https://github.com/denisgolius/victoriametrics-ru-links

Если у вас есть еще предложения или замечания - будем рады слышать и видеть.

#victoriametrics #monitoring #youtube #prometheus

​Открытые практикумы DevOps и Golang by Rebrain: 1 и 3 Июня

Успевайте зарегистрироваться. Количество мест строго ограничено! Запись практикума “Kubernetes для новичков” в подарок за регистрацию!

Rebrain & Skyeng: Управление SSL-сертификатами: от хаоса на сотнях серверов к централизованному решению. 1 Июня 19.00 МСК

👉Регистрация

🔹Плюсы и минусы Let’s Encrypt
🔹Как всё начинается
🔹Проблемы роста
🔹Поиски решения
🔹Хранилище сертификатов

Кто ведет?

Игорь Плехов - 20 лет в IT. 2.5 года в Skyeng. Дирижёр Инфры: тимлид команды, операционной деятельности инфраструктуры.

Golang by Rebrain: Миграции в golang. 3 Июня 19.00 МСК

👉Регистрация

🔹Посмотрим на goose
🔹Увидим разные варианты подхода к миграциям
🔹Посмотрим best practice по настройки миграций в co

Кто ведет?
Глеб Наземов - Разработчик в компании Aliexpress Russia

How to Serve 200K Samples per Second with Single Prometheus

#prometheus #monitoring

Компания Alibaba открыла код распределённой СУБД PolarDB, основанной на PostgreSQL https://opennet.ru/55233/