Обновили серию статей How to Golang новыми материалами 👉 https://t.me/goproglib/1510

🛠 А ещё вот RCE занятный (не самый простой в выполнении, но всё же) в fail2ban принесли - fail2ban – Remote Code Execution. #fail2ban #security #фидбечат

​Компания Экспресс 42, совместно с HeadHunter и OTUS Онлайн-образование проводит уникальное и масштабное исследование состояния DevOps в России!
Если тема DevOps вам не безразлична – просим вас пройти опрос https://e42.link/devops-survey-2021 и внести свой вклад в развитие отрасли.
Мы ждем разработчиков, тестировщиков, админов, инженеров, техлидов и тимлидов, CTO, CIO, CDTO.
Важно мнение каждого!

Для всех кто заполнит опросник, мы приготовили подарки:
• скидка 10% на любые курсы и продукты ОТУС
• лотерея, в которой мы разыграем 50 книг по DevOps
Вы будете самыми первыми, кто узнает о результатах и получит отчет, как только он будет готов!

​Открытый практикум Rebrain & Timeweb: Погружение в основы ИБ и знакомство с OWASP Top Ten

Успевайте зарегистрироваться. Количество мест строго ограничено! Запись практикума “DevOps by Rebrain” в подарок за регистрацию!

👉Регистрация

Время проведения:

7 Октября (Четверг) в 19:00 по МСК

Программа практикума:

🔹Рассмотрим концепцию Defense in depth и OWASP Top Ten
🔹Рассмотрим последние изменения в OWASP Top Ten 2021
🔹Развернем стенд с bWAPP и bee-box
🔹Попрактикуемся в эксплуатации уязвимостей по OWASP Top "Three" на стенде с bWAPP и bee-box

Кто ведет?

Роман Ткач  - Руководитель команды по кибербезопасности Timeweb. 7 лет опыта работы по направлению ИБ. Опыт разработки веб-приложений (respect to PHP). Участвует в CTF.

Всем привет, короче, я хочу прорекламировать ещё одну свою поделку - GeeseFS: https://github.com/yandex-cloud/geesefs
Вкратце - это наконец-то НОРМАЛЬНЫЙ fuse поверх S3.
Нормальный - это, во-первых, быстрый - то есть, быстрее всех других fuse-s3 за счёт параллелизма - например, копирование 6500 мелких файликов в s3 через s3fs занимает 50 МИНУТ, а через GeeseFS - 25 СЕКУНД.
А во-вторых, корректный - достаточно корректный для того, чтобы проходить применимые тесты из xfstests (тестов ФС, которыми тестят все "взрослые" ФС - xfs, ext4 и т.п.).
Ну и ещё на основе GeeseFS сделан CSI для кубера: https://github.com/yandex-cloud/k8s-csi-s3 - можно подключать S3 как RWM волюмы (хотя, естественно, при одновременном доступе в один файл с разных нод ничего хорошего не будет).
Запилено это, как можно заметить, уже от имени яндекса, и дефолтный endpoint тоже яндексовский. 😊 И даже оптимизация есть одна яндекс-специфичная. 😊 конкретно - на не-яндексовском S3 чтение xattr будет медленное, потому что в стандартном S3 нет UserMetadata в ответах ListObjects.
В общем, кому интересно подключать S3 как ФС - пробуйте, несите фидбэк.

⚒ И вот ещё интересная штука - Fake Protocol Server. Умеет прикидываться различным серверным ПО и обрабатывать запросы в соответствии с нужными для этого ПО протоколами.

На Github есть несколько роликов, которые в полной мере показывают функционал утилиты: https://github.com/fofapro/fapro

#network #будничное

налейтайте через полчаса и завайте ваши каверзные вопросы https://www.youtube.com/watch?v=ySFpzhn_tiU

Архитектура веб-приложений. Какие бывают проблемы и попытка их решений.

Архитектура приложений — что это значит? Расположение папок? Структура кода? Взаимодействие объектов и компонентов между друг другом? Ответы могут быть расплывчатыми и неконкретными, ведь ответ в себе содержит все эти пункты сразу.

Архитектура — это форма, которая придается системе ее создателями. Эта форма образуется делением системы на компоненты, их организацией и определением способов взаимодействий между ними.

📺 YouTube

Clean Code #видео#видео #architecture#architecture

​Ozon приглашает Go-разработчиков на “Here we Go”. Приходи и получи привлекательный оффер в команду, которую выберешь ты!

Что будет?
💎 Познакомишься с тимлидами и задашь вопросы
💎 Сам выберешь команду и пройдешь собеседование
💎 Получишь оффер от Ozon в тот же день

Присоединяйся к ведущей команде Go-разработчиков — оставляй заявку до 20 октября на сайте: https://bit-ly.ru/r1uwU

#dns #network

Python⇒Speed: Building Docker images on GitLab CI: Docker-in-Docker and Podman
https://pythonspeed.com/articles/gitlab-build-docker-image/

​​Interactive Redis: A Terminal Client for Redis with AutoCompletion and Syntax Highlighting.

IRedis is a terminal client for redis with auto-completion and syntax highlighting. IRedis lets you type Redis commands smoothly, and displays results in a user-friendly format.

IRedis is an alternative for redis-cli. In most cases, IRedis behaves exactly the same as redis-cli. Besides, it is safer to use IRedis on production servers than redis-cli: IRedis will prevent accidentally running dangerous commands, like KEYS *

Has many other awesome features!

https://github.com/laixintao/iredis

#python

Company wide SAST

Ребята из Яндекса выложили последний недостающий доклад с ZN (+слайды), где они рассказали о том, как строили SAST. В первой части речь пойдет про разработанный внутри оркестратор SAST'а и правила для Semgrep. Во второй части будет затронута тема CodeQL: его плюсы/минусы, опыт проведения пилота и написания правил. Есть также ссылка на репозиторий с полезными запросами для улучшения taint-анализа.

#dev #sast

​​Узнал вчера про существование проекта для предобработки текста Tremor. Продукт нишевый и нужен только в определенных ситуациях. Это аналог Logstash, который входит в состав ELK. Я Logstash достаточно часто использую. В целом, привык к нему и к его языку парсинга в виде grok фильтров. Значительный минус Logstash - он очень требователен к ресурсам. Такое тяжелое Java приложение. Первого запуска достаточно, чтобы понять, какой он тормозной. Запускается секунд 5-7 даже без нагрузки.

Для тех, кто совсем не понимает, о чём идёт речь, кратко поясню. С помощью подобных инструментов можно брать исходные логи любого формата и приводить их к тому виду, какой вам нужен. Например, с помощью Logstash и его grok фильтров парсится лог веб сервера. Из строк вычленяются ip адреса, урлы, даты и т.д. Все эти данные конвертируются из строковых значений в свои форматы - число, ip адрес, дата и т.д. Далее эти распарсенные и сконвертированные данные можно использовать в построении графиков, отчётах, можно делать агрегации и т.д.

Tremor якобы более легкий и удобный инструмент. У него свой скриптовый язык tremor-script, что лично меня смущает. Хотя в документации говорится, что он более удобен и эффективен. Grok - универсальный фильтр для парсинга, используется много где, а не только в Logstash. А учить новый синтаксис только под один продукт как-то лениво.

Написал эту заметку, чтобы поделиться с вами новым для меня продуктом, а заодно спросить, есть ли тут кто-то, кто использовал Tremor. Имеет смысл его изучать и пробовать как замену Logstash? Я в свое время смотрел на Loki, как более легковесную замену всего ELK в простых ситуациях, но так и не начал пользоваться, так как привык к ELK и неплохо его знаю. Не захотелось распыляться и изучать два продукта. Но этого монстра хотелось бы как-то облегчить.

https://github.com/tremor-rs/tremor-runtime
https://www.tremor.rs/

#devops #elk

В начале сентября выложили доклады с DotNext 2021 Piter
https://www.youtube.com/playlist?list=PLtWrKx3nUGBe28FDxQP2hsF2nG4NQG5_5

Если кто не знает, то это конференция посвящённая .Net от JUG RU group.

Самим .Net и движухой вокруг него я интересуюсь мало, но там была пара докладов, которые хотел бы отметить отдельно

Oren Eini — A deep dive into a database engine internals
https://www.youtube.com/watch?v=8mCsxcvXjp4

Филипп Бочаров — Наблюдаемость систем и процессов
https://www.youtube.com/watch?v=DkDFW3EwCKg

​​Prevent Kubernetes misconfigurations from reaching production (again 😤 )! Datree is a CLI tool to ensure K8s manifests and Helm charts follow best practices as well as your organization’s policies.

It’s far more effective than manual processes, such as sending an email to a slew of developers, begging them to set various limits, which likely falls on deaf ears because developers are already overwhelmed.

The CLI integration provides a policy enforcement solution for Kubernetes to run automatic checks on every code change for rule violations and misconfigurations. When rule violations are found, Datree produces an alert which guides the developer to fix the issue inside the CI process — or even earlier as a pre-commit hook — while explaining the reason behind the rule.

Right now, there are 30 battle-tested rules for you to choose from.

https://github.com/datreeio/datree

#k8s #devops #go

​Что такое числа Фибоначчи и как их вычислить?

Присоединяйтесь к бесплатному онлайн-уроку 7 октября с ведущим программистом Евгением Волосатовым. Вы узнаете, какие бывают сложности алгоритмов, напишете функции возведения числа в целую степень и поиска чисел Фибоначчи. Причём сделаете это различными способами, изменяя сложность алгоритмов от экспоненциальной до логарифмической.

Открытый урок — это возможность побывать в роли студента на курсе «Алгоритмы и структуры данных» от OTUS.

Для регистрации на вебинар пройдите вступительный тест https://otus.pw/sM6w/

Yandex Scale Workshop Week

С 18 по 22 октября пройдет неделя мастер-классов. Для прохождения заданий вам предоставят тестовое облако. Выбирайте, какой из практикумов вам хотелось бы пройти, и скорее регистрируйтесь — количество мест ограничено:

🔷 18 октября в 18:00 — Создание QA-ассистента для чат-бота с Yandex DataSphere →

🔷 19 октября в 18:00 — Безопасный и быстрый деплой в Kubernetes® →

🔷 20 октября в 18:00 — Сбор, мониторинг и анализ логов в Yandex Managed Service for Elasticsearch® →

🔷 21 октября в 18:00 — Веб-приложение на Serverless →

🔷 22 октября в 18:00 — Исследование Customer Journey мобильного приложения с помощью AppMetrica и Yandex.Cloud →

#yacloud_events