18 октября начнется групповой курс для тех, кто хочет знать Кафку и не хочет бороться с собой.

Курс полностью на русском и с практикой на наших стендах. Куратор задает ритм: тема в неделю, и помогает не сбавлять его. А с единомышленниками проще разобраться с непонятным и найти ответы. В конце обучения участники защитят итоговый проект и пойдут внедрять Кафку в рабочий процесс. 

Кому интересно, подробности по ссылке: https://slurm.club/3ue7Ytj

#реклама

После поста о сборе средств для Семаева Кирилла, мне периодически пишут люди и спрашивают, как и что там с Кириллом, доходят ли деньги и т.д. Сам я не в курсе, так как у меня нет постоянного контакта ни с ним, ни с его родными. Это была моя личная инициатива о соборе средств. Чтобы было, что отвечать по теме, спросил у Анны, как там дела.

Кирилл сейчас на очередной реабилитации в мед. центре, так что новостей особо нет. С ним всё в порядке, состояние нормальное, ни лучше, ни хуже. Деньги тратятся на реабилитационные процедуры и на бытовые нужды. Помощь доходит до адресата.

На неё вышли люди с инициативой записать видео с Кириллом. Ориентировочно на октябрь запланировали мероприятие. Так что если всё сложится, то будет подробная информация из первых уст.

У меня всё по теме. Удачи вам в делах и не болеть.

​​📌 Хочу вас познакомить с двумя интересными и полезными утилитами для просмотра занятого места на диске. Первая из них - duf (https://github.com/muesli/duf). Написана на гошечке, работает шустро. По дефолту показывает удобный табличный вид смонтированных устройств, разделяя локальные хранилища, сетевые и специальные, типа /dev, /run и т.д.

Из других полезных возможностей:
- раскрашенный вывод
- настраиваемая сортировка и фильтрация вывода
- вывод результата в json формате

Есть паркет под все популярные системы, в том числе windows. Ставим на centos:
# rpm -ivh https://github.com/muesli/duf/releases/download/v0.6.2/duf_0.6.2_linux_amd64.rpmhttps://github.com/muesli/duf/releases/download/v0.6.2/duf_0.6.2_linux_amd64.rpm

Пример использования:
# duf --only local --sort size
Вывод только локальных хранилищ с сортировкой по размеру.

📌 Вторая утилита - dust (https://github.com/bootandy/dust). Написана на rust (du + rust = dust). Умеет отображать древовидную структуру каталогов с указанием занимаемого места каждой ветви дерева. Я не видел утилиты, которая бы так же быстро и просто могла сразу показать, кто и где занял место на диске. Несомненно, есть ncdu, но у неё другой принцип отображения информации. Где-то удобнее, а где-то нет.

Dust представляет из себя одиночный бинарник, так что никаких пакетов нет. Качаем и запускаем:
# wget https://github.com/bootandy/dust/releases/download/v0.7.5/dust-v0.7.5-x86_64-unknown-linux-gnu.tar.gzhttps://github.com/bootandy/dust/releases/download/v0.7.5/dust-v0.7.5-x86_64-unknown-linux-gnu.tar.gz
# tar xzvf dust-v0.7.5-x86_64-unknown-linux-gnu.tar.gz
# cd dust-v0.7.5-x86_64-unknown-linux-gnu/
# ./dust/dust / -d 3
Посмотрели размер директорий, начиная с корня, с ограничением глубины в 3.

#terminal #утилиты

​​Зарабатывать на внедрении ИИ и машинного обучения

Для руководителей и стартаперов, продактов и проджектов, которые съели не одну собаку на запуске межгалактических кораблей, и теперь решительно идут дальше.
Что хочет человек? Разбираться в умных продуктах. 
Вооружаясь знанием о мире ИИ, делать большое дело.
Большому кораблю — серьезный курс: «Управление AI/ML продуктами».

Вы научитесь:
◽ Управлять командой Data Science-специалистов и ML-инженеров.
◽ Внедрять в продуктовые решения прогнозирующие механизмы.
◽ Разрабатывать ТЗ, ставить задачи по разметке данных.
◽ Разбираться в совокупности методов машинного обучения.
◽ Прототипировать, тестировать и улучшать ИИ-продукт.
◽ Разрабатывать Data Science-модели.
◽ Разбираться в возможностях естественного языка.
◽ Выстраивать архитектуру систем машинного обучения.
◽ Сравнивать производительность моделей по метрикам.

Машина обучения подчиняется только вам. Бросайте топливо теории в реактор искусственного интеллекта. Проверьте давление в шлюзах. В путь.

Координатор курса сдует пылинки. Наставник даст в руки электронную лопату. Карьерный спец отправит на работу в космос. Будет горячо, трудно и прекрасно. 

Скидка 40% в сентябре.
👉 Оставьте заявку и получите 2 видеоматериала бесплатно - https://clc.to/srv_admin

#реклама

​​Завтра, 28 Сентября, в 10:00 (МСК) пройдёт онлайн meetup на русском языке от Zabbix. Он будет совместно с Gals Software и Monq Digital Lab. Заявлена интересная тематика, но при этом описание скудное. Не совсем понятно, насколько полезная информация будет представлена. У Zabbix по моим наблюдениями последнее время мероприятия малополезные получались.

Приглашаем вас зарегистрироваться на митап, который мы проведем совместно с нашими коллегами из Gals Software и Monq Digital Lab.На митапе, мы поговорим о следующем: Траблшутинг распространенных проблем в Zabbix; Monq: эволюция от сбора логов к управлению ИТ-данными, отказ от коннекторов, агенты экстракторы и платформа автоматизации; а также, создание интерактивного отображения ИТ-сервисов в Grafana, на сервисно-ресурсной модели и географической карте.

📌Программа:
10:00 - Открытие мероприятия.
10:10 - Monq: эволюция от сбора логов к управлению ИТ-данными, отказ от коннекторов, агенты экстракторы и платформа автоматизации (на примерах обработки чатов с поддержкой markdown и автопостроения РСМ из данных VMWare). Николай Ганюшкин, CEO Monq Digital Lab.
10:50 - Создание интерактивного отображения ИТ-сервисов в Grafana, на сервисно-ресурсной модели и географической карте. Антон Касимов, эксперт по системам мониторинга Gals Software.
11:30 - Траблшутинг распространенных проблем в Zabbix.
12:15 - Вопросы и ответы.

Регистрация в zoom - https://us02web.zoom.us/webinar/register/2816321356676/WN_jsZ21B0ZQUCzVY6_rzg6Bw

Планирую посмотреть, если другие дела не отвлекут. Законспектирую, если что-то интересное будет.

#zabbix

​​Добиваю тему self-hosted чатов. Напомню, что ранее уже рассмотрел:

✔️ Zulip
✔️ MyChat
✔️ Mattermost
✔️ Rocket.Chat

Эти чаты я либо сам внедрял, либо тестировал и готовил к внедрению, поэтому есть личный опыт установки, базовой настройки и типового тестирования. Мне посоветовали посмотреть ещё на Delta Chat, что я и сделал.

Главная особенность Delta Chat в том, что для доставки сообщений используется smtp протокол. То есть он работает поверх инфраструктуры почтовых серверов, а значит свой сервер чата не нужен вообще. Идея выглядит необычной и любопытной. Для общения с помощью этого чата достаточно любых существующих почтовых ящиков.

Я поставил десктопные клиенты и пообщался сам с собой, настроив для этого соответствующие почтовые ящики. Сразу скажу, что клиент написан на Electron 😪. Настройки почтовых ящиков Яндекс.Почты автоматом не подобрал, пришлось вручную указать серверы и порты, предварительно в настройках ящика разрешив подключаться по imap. С gmail авторизация прошла автоматом без танцев, но пришлось в настройках безопасности разрешить подключаться ненадёжным приложениям.

Поотправлял сообщения туда-сюда. В целом работает. Клиент, как и всё на JavaScipt и Electron, тормозной. Идея интересная, так как практически полная децентрализация и всё работает поверх уже существующей инфраструктуры. Но те, кто понимают, как работает почта, сразу увидят кучу минусов. Тут и шанс попасть под спам фильтры, и greylisting, и задержки при доставке почты по smtp, и просто потери писем, которые иногда случаются. Всё это в целом с натяжкой тянет на полноценный чат. Никогда не будешь уверен, что твое сообщение быстро и гарантированно будет доставлено.

В таком виде, как реализовано, мне кажется, тема не пойдёт в массы. Ей самое место в каком-нибудь почтовом клиенте, пусть даже и в web. Там удобно вести подобную переписку, а как отдельное приложение для чата, мне кажется, не очень уместно.

Как бонус, бэкап всей переписки в ящиках, правда в зашифрованном виде. Не знаю, в каком виде потом всё это можно посмотреть, если сам чат будет удалён с компьютера. На базе уведомлений о доставке и прочтении реализована индикация доставки и прочтения сообщений в чате. Сам чат выглядит приятно. Интерфейс простой и понятный.

И да, это полностью open source:
https://github.com/deltachat
https://delta.chat/

#chat

​​Дети в Интернете. Все, что нужно знать о контентной фильтрации в образовательных учреждениях.

🗓 30 сентября в 14:00 (мск) разработчики шлюза Интернет Контроль Сервер проведут вебинар на тему доступа в интернет в учебных заведениях, что подразумевает четкое выполнение требований законодательства в области защиты детей от опасной информации.

На вебинаре вам расскажут, как с помощью контент-фильтра Интернет Контроль Сервер и дополнительных модулей Kaspersky можно обеспечить безопасный доступ в сеть и беспрепятственно пройти прокурорскую проверку.

Вы узнаете о преимуществах использования контент-фильтра перед фильтрацией от провайдеров, об отличиях ИКС от простых модулей фильтрации, а также о дополнительных категориях трафика Kaspersky Web Filtering.

👉 Регистрация на бесплатный вебинар.

У меня на сайте написан цикл статей по этому шлюзу, где я разбираю установку и настройку продукта.

Вы можете скачать и протестировать полнофункциональную версию шлюза в течении 35 дней, либо воспользоваться бесплатной версией.

#реклама #бесплатно #текст_мой

​​ZeroViewer - бесплатная программа для удаленной поддержки пользователей. Условно можно назвать self-hosted аналогом программ типа TeamViewer, Anydesk и т.д. В качестве сервера, через который устанавливается соединение, может выступать любой ssh server. Подключения запускаются с помощью kitty (виндовый ssh клиент). Для отображения экрана удаленной машины используется реализация vnc на базе TightVNC.

Клиент доступен только для ОС Windows. Все настройки хранит в обычном ini файле, что упрощает переносимость. Нужно понимать, что соединения по ssh не очень быстрые. Плюс протокол vnc тоже очень требователен к скорости канала. Так что получить сопоставимое качество картинки с tv или anydesk не получится. Зато всё полностью под твоим контролем, плюс надежное шифрование из коробки на базе ssh. Полностью бесплатных аналогов я даже и не знаю.

Сайт программы: https://null.la/
Обсуждение:
https://4pda.to/forum/index.php?showtopic=973515
http://forum.ru-board.com/topic.cgi?forum=5&topic=49838

Программа бесплатная, но исходников в открытом доступе нет, так что использовать на свой страх и риск.

#удаленный_доступ #selfhosted

​​В системах Unix есть полезная утилита, которая возвращает тип введённой в оболочку команды. Речь пойдёт об утилите type. Она может быть как частью оболочки, так и отдельным бинарником. Проверить это можно с её же помощью.
# type type
type is a shell builtin

В данном случае утилита type является встроенной в оболочку bash. С её помощью вы можете понять, что именно будет исполнено, если вы введёте ту или иную команду. Например:
# type echo
echo is a shell builtin

Если просто ввести echo в терминал, будет выполнена встроенная в оболочку утилита. Но при этом есть и бинарник. Проверить, где он, можно с помощью добавления ключа P. Тогда type будет проверять только бинарники в PATH.
# type -P echo
/usr/bin/echo

В скриптах, или консоли, вы можете использовать путь к бинарнику echo. Он отличается от того, что встроено в консоль. Убедиться в этом очень просто. Введите в консоли две команды и сравните результат. Подумайте, почему он разный.
# echo --help
# /usr/bin/echo --help

Type маленькая утилита, которая только выводит информацию о введённой команде в консоль. С ее помощью можно определить, что будет выполнено: alias, function, builtin, file или keyword. Если добавить ключ a, то будут выданы все варианты команды:
# type -a ls
ls is aliased to `ls --color=auto'
ls is /usr/bin/ls

#bash

​​Одни говорят, что для работы в IT индустрии нужен технический бекграунд, другие – что можно адаптировать свои навыки в новом направлении. Где истина?

Разберемся в вопросе 6 октября в 20:00 на бесплатном карьерном вебинаре "Как расти гуманитарию в IT?" от OTUS.  

Спикер, Александр Табернакулов, руководитель редакции в Яндексе, расскажет про зоны роста и развития маркетологов, проджектов, копирайтеров и других "гуманитарных" специальностей в IT среде. 

Вебинар будет полезен, если вы:
– Интересутесь переходом в IT-компании, но думаете, что не потянете, потому что не разбираетесь в технологиях глубоко
– Думаете, что достигли карьерного тупика и задумываетесь о том, чтобы купить курс и переучиться на программиста
– Интересуетесь трендами IT индустрии, чтобы общаться с айтишниками на одном языке

Также, обсудим, что лучше: переучиться на IT или адаптировать свою «гуманитарную» профессию к IT?

Регистрируйтесь и готовьте свои вопросы по ссылке – https://otus.pw/OZWd/

#реклама #бесплатно

​​Делюсь с вами простым и удобным скриптом для автоматического бэкапа mysql баз с помощью mysqldump - AutoMySQLBackup. Это обычный bash скрипт, который упрощает рутинные задачи по бэкапу, предлагая встроенный функционал.

https://github.com/sixhop/AutoMySQLBackup

Основные возможности скрипта:
▪ Сжимает бэкапы баз и раскладывает их по отдельным директориям.
▪ Поддерживает многопоточные архиваторы типа pigz, позволяет управлять количеством потоков.
▪ Автоматически ротирует дневные, недельные, месячные архивы по заданным параметрам.
▪ Позволяет использовать ключи mysqldump.
▪ Умеет хранить настройки в отдельном конфигурационном файле.
▪ Можно гибко управлять набором баз для бэкапа, вручную указывая их или управляя списком с помощью шаблонов.
▪ Умеет отправлять результаты своей работы по почте.
▪ Может шифровать дампы указанным ключом.
▪ Запуск своего скрипта до или после выполнения бэкапа.

Вот простой конфиг для ежедневного бэкапа баз mysql за исключением performance_schema и information_schema. Ежедневные бэкапы хранятся 7 дней, недельные 31 день, месячные год.

CONFIG_mysql_dump_username='root'
CONFIG_mysql_dump_password='parol'
CONFIG_mysql_dump_host='localhost'
CONFIG_backup_dir='/mnt/backup'
CONFIG_multicore='no'
CONFIG_db_names=()
CONFIG_db_exclude=( 'performance_schema' 'information_schema' )
CONFIG_db_exclude_pattern=()
CONFIG_do_monthly='01'
CONFIG_do_weekly='7'
CONFIG_rotation_daily=6
CONFIG_rotation_weekly=31
CONFIG_rotation_monthly=360

После работы сккрипта в директории /mnt/backup будет создана структура директорий:

◽ daily - ежедневные бэкапы, где каждая база будет в своей директории;
◽ fullschema - только структура всех баз данных;
◽ latest  - если указать соответствующую настройку, то в этой директории всегда будут лежать бэкапы от последнего запуска. Удобно отсюда их забирать куда-то в другое место сразу после окончания бэкапа.
◽ monthly - месячные бэкапы;
◽ status - список баз каждого запущенного бэкапа;
◽ tmp - для временных файлов;
◽ weekly - недельные бэкапы;

Рекомендую так же прочитать мою заметку про выбор параметров для mysqldump. Там есть важные моменты, которые влияют на успешность создания дампа.

#bash #mysql #backup

​​Вы какой firewall в Linux используете? Iptables или уже перешли на nftables? Я по прежнему первый. Уже давно запланировал изучить nftables и перейти на него, но всё никак. Причина тут проста - я хорошо знаю iptables и он меня полностью устраивает. Ничего нового, перейдя на nftables, для себя не получу. Только все конфиги и правила переписывать придётся.

Для iptables есть интересный проект по графическому отображению правил - iptables-vis - https://github.com/Nudin/iptable_vis. Я его потестировал. Работает неплохо. Можно где-то использовать, например в документации для людей, не знакомых с синтаксисом iptables. Картинки вполне наглядные получаются.

Для рисования схем используется blockdiag, который написан на python. Проще всего поставить через pip:
# dnf install python3-pip
# apt install python3-pip
# pip install blockdiag

Потом клонируем себе репозиторий и рисуем схему:
# git clone https://github.com/Nudin/iptable_vis
# cd iptable_vis
# iptables -v -L > iptables.txt
# awk -f iptables-vis.awk < iptables.txt > iptables.dia
# blockdiag iptables.dia -T svg -o iptables.svg

Забирайте файл iptables.svg и смотрите любым просмотрщиком этого формата. Я в обычном браузере открыл.

#iptables

Реферальная программа облачного провайдера Cloud4Y

Зарабатывайте 10% от суммы контракта с привлеченного по вашей ссылке клиента.

Кому подходит программа:
🔹ИТ-специалистам
🔹Специалистам по информационной безопасности 
🔹Специалистам по арбитражу трафика 
🔹Любым компаниям и физическим лицам, имеющим свою площадку и аудиторию

Преимущества: 
🔸Никаких обязательств перед клиентами 
🔸Юридическая защита через договор
🔸Рост дохода при росте клиента 
🔸Безупречная репутация компании на облачном рынке  
🔸Прозрачная система выплат любыми удобными способами

Воспользуйтесь калькулятором на сайте, чтобы рассчитать ваш доход.

Узнать подробнее.

#реклама

​​Бесплатный антивирус для сайтов - https://virusdie.com. Сразу говорю, что это не реклама, а мой опыт использования. Приходится делать такие пометки, так как регулярно вижу комментарии о том, что я что-то рекламирую. Абсолютно вся оплаченная реклама на канале помечается соответствующим тэгом. Если его нет, значит это моя личная инициатива написать о том или ином продукте.

Сервис virusdie.com позволяет бесплатно раз в месяц проверять на наличие вирусов один сайт. Для этого надо зарегистрироваться и подтвердить своё владение сайтом. Делается это с помощью загрузки проверочного файла в корень сайта, который по сути является вебшелл. Имейте это ввиду. Сканирование сайта происходит не снаружи, а внутри, через этот php файл. После проверки вы получите отчёт на почту. У компании одно время был блог на хабре.

Вообще, тема антивирусов для сайтов как-то совсем не развита. Раньше был неплохой антивирус revisium, который можно было купить сразу с установкой и регулярной поддержкой, обслуживанием. Но в какой-то момент их купили, сделали ребрендинг и русскоязычного сервиса вообще не осталось.

Был еще бесплатный aibolit от той же компании Revisium. Его постигла та же участь. Компания Revisium вошла в группу CloudLinux. Антивирус revisium получил название ImunifyAV. Продукты Revisium стали частью системы комплексной безопасности серверов Imunify360, AI-Bolit в Imunify360 стал Malware Scanner. Бесплатной версии больше нет. Компания CloudLinux, как я понял, ориентирована на англоязычный рынок. Простых способов оплатить российскому юрлицу я не нашел, как и просто телефона тех. поддержки на русском языке.

Есть еще Manul от Яндекса, но не развивается уже давно. Да и на старте был не очень.

Лично я антивирусы для сайтов заменяю подробными схемами бэкапов, когда есть возможность откатиться или восстановить изменённые файлы с достаточной глубиной архивов. Непосредственно исходники стараюсь хранить как можно дольше, в идеале вообще не удаляю.

#сайт #антивирус

​​Небольшая обучающая задача. Кто-то знает, почему следующая команда, запущенная в терминале Linux от обычного пользователя, не будет выполнена:

sudo echo "nameserver 192.168.0.1" > /etc/resolv.conf

Команда запускается от обычного пользователя, далее вводится пароль для повышения привилегий через sudo. По идее, мы должны заменить содержимое файла адресом 192.168.0.1, но этого не произойдёт. Получите ошибку:

-bash: /etc/resolv.conf: Permission denied

Но при этом ту же команду sudo su ты можешь успешно выполнить и стать рутом.

#загадка #bash #terminal

🔥Готовы ли вы к обучению на продвинутом онлайн-курсе «Мониторинг и логирование Zabbix, Prometheus, ELK»? 
Пройдите тест и узнайте сейчас!

👉🏻ПРОЙТИ ТЕСТ: https://otus.pw/4DL8/

📌Хотите больше узнать о программе курса, формате обучения и преподавателях? Регистрируйтесь на Demo Day курса 11 Октября: https://otus.pw/mvyU/

Регистрируйтесь сейчас — напомним перед вебинаром!

#реклама #бесплатно

В прошлую пятницу было развлекательное видео с человеком по имени Joma. Я посмотрел повнимательнее его канал. Там много всего интересного. Судя по всему он не только хороший инженер, но и талантливый человек. Видео очень качественно сделаны, как технически, так и по актерской игре, смыслам.

Хочу поделиться с вами видео, где он описывает свою технику. Там есть на что посмотреть. Обратил внимание я, как и многие, в первую очередь на его мониторы. Они реально необычные, особенно основной. Он рассказал, зачем и почему у него именно такой набор. Условно они делятся на 5 стандартных рабочих зон - три снизу и две сверху.

Поделюсь своим мнением на этот счёт. Лично я большую часть своего времени за компьютером провожу за одним монитором full hd, хотя дома оборудовал рабочее место с тремя. За собой заметил, что информация на вспомогательных мониторах мне мешает. Исключение - когда реально надо в режиме реального времени за чем-то наблюдать и параллельно что-то делать. Но это бывает редко.

В остальное время дополнительные мониторы отключаю. Мне удобнее переключаться между задачами в рамках одного экрана. Это позволяет лучше фокусироваться на задаче и не отвлекаться. А вы что думаете по этому поводу? Сколько мониторов используете в повседневной работе?

https://www.youtube.com/watch?v=0oBi8OmjLIg

#видео

​​Очередная красивая рассылка от Mikrotik пришла в формате PDF. Уже писал, что нравится их newsletter, качественно сделан.

Интересное (на мой взгляд) оттуда:

▪ Вышел новый роутер CCR2004-16G-2S+ (описание, видеообзор), отличительной особенностью которого является максимальная производительность одного ядра. Всё, что не параллелится, на нём будет работать максимально быстро.
▪ Новая бюджетная точка доступа cAP XL ac (описание, видеообзор) для крепления к потолку. Похожа на датчик дыма.
▪ Добавлена поддержка Zerotier в RouterOS v7!!!
▪ Нашумевший в последнее время ботнет MĒRIS использует уязвимость 2018 года, которая давно закрыта. Новых проблем с безопасностью в Микротиках не наблюдается.
▪ Очень основательный и подробный видеоразбор функции Switching в устройствах Mikrotik.
▪ Легендарный крейсер Аврора снабдили интернетом с помощью устройств Mikrotik.

Загрузить NEWSLETTER SEPTEMBER 2021 (#102)

#mikrotik

3 причины подписаться на аккаунт @selectel @selectel 🔥

1. Основы программирования простым языком и без снобизма.
2. Полезные факты о железе, дата-центрах и хостингах.
3. Актуальные новости из IT.

Жми на кнопку «Подписаться», чтобы получать больше IT-материалов и каждый день узнавать что-то новое!

#реклама