​​Одна из программ командной строки Linux, которую часто приходится использовать - find. При этом у неё не очень простой синтаксис. Я лично постоянно его забываю, поэтому всегда использую шпаргалку с наиболее часто используемыми конструкциями.

Существует утилита fd (https://github.com/sharkdp/fd), которая упрощает использование поиска через консоль. Она есть под все популярные системы, даже windows. В репе перечислены все способы установки, а также ссылки на готовые пакеты. Бинарник после установки будет называться fdfind, так как в некоторых системах имя fd уже занято. Чтобы использовать короткое обозначение придётся либо алиас, либо символьную ссылку сделать.

Основные особенности утилиты:
◽ интуитивный синтаксис и дефолтные значения
◽ быстрый параллельный поиск
◽ возможность выполнить внешнюю команду не с каждым результатом поиска, а отправить весь результат, как аргумент (это может существенно ускорить удаление огромного кол-ва файлов, но это не точно 😁)
◽ расцветка вывода

Примеры использования.
Поиск файла в текущей директории:
fdfind file
Поиск файла в конкретной директории. По умолчанию он будет рекурсивный. Для поиска по всему серверу можно использовать корень.
fdfind file /var
fdfind file /
Поиск файлов с определённым расширением:
fdfind -e php
Найти все архивы и распаковать их:
fdfind -e zip -x unzip
Найти файлы и удалить одной командой:
fdfind -e log -X rm

Еще больше примеров разобраны в описании репозитория. Для простого поиска этой утилитой реально удобнее пользоваться, чем стандартным find. Более сложные конструкции я не тестировал. Они обычно в скриптах используются, а там уже не критично, где один раз собрать команду.

#terminal #утилита

​​Игра Human Resource Machine про то, как программировать юзеров. Кто, как не сисадмины, могут это сделать наиболее эффективно. Вам нужно будет взять контроль над офисными сотрудниками и запрограммировать их на решение различных задач.

https://store.steampowered.com/app/375820/Human_Resource_Machine/
https://www.youtube.com/watch?v=4RYQ_1XSJgc (интересный обзор)

В игре отличный русский язык. С учётом того, что придётся решать головоломки, это сильно упрощает задачу. Много хороших комментариев, обзоров, видео на youtube. Судя по всему, игра реально интересная.

Не волнуйтесь, если никогда до этого не имели дела с программированием - это всё равно что решать головоломки. Если убрать все нолики, единицы и страшные фигурные скобки, то программирование окажется простым, логичным, прекрасным, весёлым и доступным для понимания каждому! Возможно, Вы уже эксперт в программировании? В таком случае мы создали дополнительные испытания специально для Вас!

Немного интересных отзывов:

Развивает мозги, Это Головоломка основана на Алгоритмах, следовательно, она включает в себя Информатику, Пригодится тем кто изучает Wiremod (Garry's Mod). А вы можете сделать так, что бы вы Умножили 2 разных числа, с помощью Сложения? Или поделить с помощью вычитания? Если нет - то бегом покупать!

По началу думал, что игра будет не очень. Но не ожидал что так классно можно было совместить игру и программирование. 10 из 10.

Я в IT хочу войти. Отличная игра для тех кто хочет научиться программировать. Мы мелкий сотрудник огромной компании, и нам ставят задачи, если мы их выполняем то мы продвигаемся по карьерной лестнице, а если нет - то нет.

Симмулятор ассемблера, который маскируется под игру =) Всем любителям головоломок советую - да, эта игра придется по нраву не только программистам)

#игра

​​Как автоматизировать процессы печати и сократить затраты до 40%?

Об организации и управлении печатью в компаниях обычно задумываются, когда ситуация полностью выходит из-под контроля:

❗️неконтролируемые затраты на печать;
❗️избыточное количество печатных устройств;
❗️"зоопарк" МФУ от разных вендоров;
❗️"отсутствие контроля печати и копирования документов.

Чтобы свести эти проблемы к минимуму, компаниям стоит задуматься об оптимизации и процессов печати. 6 октября в 11:00 (мск) компания Айтеко совместно с Konica Minolta проводят онлайн-семинар, где эксперты расскажут:

🔹 как сократить затраты на печать?
🔹 как автоматизировать процессы и обеспечить безопасность и конфиденциальность документов?
🔹 в чем преимущества услуг оптимизации печати от Konica Minolta?

Отдельное внимание мы уделим линейке фирменного оборудования для оптимизации – МФУ bizhub, а также поделимся своим опытом внедрения решений Konica Minolta в России.

Регистрация: https://bit.ly/3kDhVxa

Кто ведет:
▪ Андрей Вихарев - менеджер по работе с партнёрами, Konica Minolta
▪ Ксения Ганжа - руководитель группы консалтинга и внедрения проектов, Konica Minolta
▪ Евгений Агапов - руководитель направления Workflow digitization and printing solutions, Айтеко

✔️ Бонус от Konica Minolta: расчеты «под ключ» по организации печати для разных типов компании. Скачать можно здесь: https://bit.ly/3ASENyt

#реклама #бесплатно

​​На днях в блоге Zabbix появилась новая статья - Zabbix frontend as a control panel for your devices. В статье на конкретном примере показано, как с помощью Zabbix сделать интерактивную панель управления. Можно заранее создать какие-то скрипты и прямо через веб панель на хостах их исполнять.

Я обратил внимание на эту заметку, потому что не знал и не обращал внимание на такую возможность. Я частенько привязывал скрипты к каким-то событиям и запускал их при срабатывании триггера. Например, я мониторю в астериске количество channels в состоянии INVITE. Иногда приходит спам с какого-то ip инвайтами. В security log об этом нет никаких записей, так что по записям оттуда нарушителя не вычислить. Вместо этого я при превышении порога таких каналов, запускаю через триггер на заббиксе скрипт, который выводит список подключений, смотрит, от кого инвайтов больше 3-4 и банит этот ip адрес.

А в статье предлагается просто составить набор скриптов, которые по желанию в ручном режиме можно запустить через веб интерфейс вообще без привязки к событиям. Я не обращал внимание и не знал, что есть такая возможность. Возможно ее и не было, а появилась недавно. Можно банально скрипт на reboot добавить и прямо через zabbix перезапускать сервера, или ставить обновления. Только надо не забывать про права доступа и всё это очень аккуратно делать.

#zabbix

​​Узнал вчера про существование проекта для предобработки текста Tremor. Продукт нишевый и нужен только в определенных ситуациях. Это аналог Logstash, который входит в состав ELK. Я Logstash достаточно часто использую. В целом, привык к нему и к его языку парсинга в виде grok фильтров. Значительный минус Logstash - он очень требователен к ресурсам. Такое тяжелое Java приложение. Первого запуска достаточно, чтобы понять, какой он тормозной. Запускается секунд 5-7 даже без нагрузки.

Для тех, кто совсем не понимает, о чём идёт речь, кратко поясню. С помощью подобных инструментов можно брать исходные логи любого формата и приводить их к тому виду, какой вам нужен. Например, с помощью Logstash и его grok фильтров парсится лог веб сервера. Из строк вычленяются ip адреса, урлы, даты и т.д. Все эти данные конвертируются из строковых значений в свои форматы - число, ip адрес, дата и т.д. Далее эти распарсенные и сконвертированные данные можно использовать в построении графиков, отчётах, можно делать агрегации и т.д.

Tremor якобы более легкий и удобный инструмент. У него свой скриптовый язык tremor-script, что лично меня смущает. Хотя в документации говорится, что он более удобен и эффективен. Grok - универсальный фильтр для парсинга, используется много где, а не только в Logstash. А учить новый синтаксис только под один продукт как-то лениво.

Написал эту заметку, чтобы поделиться с вами новым для меня продуктом, а заодно спросить, есть ли тут кто-то, кто использовал Tremor. Имеет смысл его изучать и пробовать как замену Logstash? Я в свое время смотрел на Loki, как более легковесную замену всего ELK в простых ситуациях, но так и не начал пользоваться, так как привык к ELK и неплохо его знаю. Не захотелось распыляться и изучать два продукта. Но этого монстра хотелось бы как-то облегчить.

https://github.com/tremor-rs/tremor-runtime
https://www.tremor.rs/

#devops #elk

Как выбрать IT-инфраструктуру в 2021?

6 октября, в 16:00 присоединяйтесь к трансляции от @Selectel, где мы расскажем, как выбрать провайдера и IT-инфраструктуру под ваши задачи.

Помимо этого, разберем на вебинаре:

◽ Как оценить надежность инфраструктуры
◽ Из чего складывается стоимость владения IT-инфраструктурой (не только из затрат на оборудование)
◽ Какие продукты подойдут для решения оперативных задач инфраструктуры (серверы, облака, managed-сервисы)

Отдельно рассмотрим реальные кейсы клиентов — какие задачи они хотят решить, какие выбирают продукты и сервисы.

Участие бесплатное, регистрируйтесь по ссылке:
👉 https://slc.tl/FTklm

#реклама #бесплатно

​​У меня было очень много заметок на канале про #мониторинг. При этом я всегда обходил стороной такой популярный продукт как The Dude. Надо это исправить. Авторами The Dude является всем известная компания Mikrotik. Основное её отличие - простота настройки и неприхотливость в плане ресурсов . Её очень легко установить и запустить в работу. Не нужны специальные знания и время на изучение продукта. Базовая настройка проста и интуитивна.

Сервер The Dude можно установить только на RouterOS. Так что вам нужно либо устройство Mikrotik, либо виртуальная машина с CHR (Cloud Hosted Router). Если будете ставить на роутер, имейте ввиду, что свою базу данных мониторинг будет хранить тоже локально, а значит будет постоянно что-то писать на устройство хранения. Для этого лучше сразу выделить sd карту или usb накопитель, чтобы не исчерпать ресурс записи встроенной памяти. Идеально поставить на CHR. У меня есть одна лицензия для различных тестов конфигураций микротов. Удобно это делать на виртуалке.

The Dude умеет автоматически сканировать сеть и добавлять в мониторинг все найденные устройства. Далее вы сможете их сами расположить на карте сети. Отдельно отмечу, что The Dude умеет мониторить и находить не только устройства Mikrotik, а и всё остальное, что доступно по сети. Например, для Windows у него есть свой агент, который можно установить для сбора метрик. А в общем случае он собирает метрики по snmp, в том числе и с Linux машин.

Писать много не буду, так как продукт достаточно известный. В сети много руководств по его настройке. Если вам нужен простой мониторинг и вы используете у себя Mikrotik, попробуйте The Dude. Он необычен и выделяется на фоне других систем мониторинга. При этом весьма удобен и популярен.

#монитоинг #mikrotik

​​Если вы любите rsync так же, как и я, и при этом хотите с его помощью бэкапить windows машины, то помочь вам в этом может программа DeltaCopy. Эта программа стала для меня настоящим открытием. Раньше я уже писал про rsync под windows. Там я описывал старую программу, о которой практически не осталось упоминаний в интернете. Нет сайта программы, нет обновлений. На текущий момент она брошена.

DeltaCopy вполне себе живая. Есть сайт, где можно скачать последнюю версию дистрибутива, есть исходники. Да и в целом мне эта программа понравилась за свою простоту и функциональность. Она состоит из двух независимых частей - клиента и сервера.

Клиент вам нужен будет, если вы хотите забирать по расписанию данные с другого Rsync сервера. Мне обычно это не нужно. Сервера чаще всего под Linux и именно с них хочется забирать данные Windows машин. Для этого используется серверная часть. У неё минимум настроек и все через интерфейс программы.

Для того, чтобы начать забирать данные с Windows через Rsync надо в серверной части настроить директорию с источником файлов. Если нужна встроенная авторизация, добавить пользователя и пароль. DeltaCopy сформирует простейший конфиг rsync:

use chroot = false
strict modes = false

[Backup]
  path = /cygdrive/c/tmp
  comment = Backup Drive
  read only = true
  auth users = zerox
  secrets file = /cygdrive/c/DeltaCopy/secrets/Backup.secret

Далее запускаем DeltaCopy как службу и не забываем настроить фаерволл. Надо открыть стандартный порт rsync - tcp 873. Перемещаемся на Linux сервер и забираем оттуда данные:

# rsync -avz zerox@10.20.1.57::Backup /mnt/backup

И всё. Работает четко и просто. Я попробовал, буду теперь использовать DeltaCopy для rsync на Windows.

#windows #backup #rsync

SQLpedia - канал про SQL и базы данных, в котором вы найдете:

— Возможность предложить нам статью для перевода;
— Полезные видео;
— Интересные опросы;
— Профессиональный юмор;

Полезности с канала:
— Шпаргалка по SQL
— Выбор СУБД
— Обзор типов и подходов БД

Присоединяйтесь, давайте расти как профессионалы вместе 😉

#реклама

​​В последнее время системы статистики посещаемости сайтов, такие как Яндекс.Мертика и Google Analytics превратились в настоящих монстров. Они собирают тонны информации о посетителях, грузя свои скрипты им в сеансы. Я бы очень хотел от них избавиться, но не могу себе этого позволить по двум причинам:

1. У меня почти весь трафик поисковой.
2. У меня крутится реклама от этих компаний.

Без их аналитики я рискую уменьшить поток поискового трафика и снизить релевантность рекламы. Если у вас сайт или приложение, для которых не критичны эти вещи, вы не хотите ставить себе тяжелейшие метрики публичных сервисов, которые шпионят за пользователями, но при этом есть желание получать аналитику по посетителям, посмотрите в сторону проекта counter.devcounter.dev.

Это легкий (написан на GO), бесплатный счётчик для сайта или веб приложения.

https://github.com/ihucos/counter.dev
https://counter.dev/

Демка - https://counter.dev/dashboard.html?demo=1 Проект работает как сервис. То есть вы ставите их код и вся статистика хранится на серверах проекта. В репозитории отмечено, что при желании, можно поднять сервер у себя, но готовой инструкции о том, как это сделать, я не увидел.

​​Недавно рассказывал про то, как команды выполняются в оболочке Linux. А так же про утилиту type, которая позволяет точно узнать, какая программа будет выполнена при вводе команды в консоли. В продолжении этой темы расскажу про утилиту hash, которая дополняет всю эту историю с командами.

Для начала узнаем, что это вообще такое:
# type -a hash
hash is a shell builtin

Hash встроена в оболочку bash. С ее помощью можно посмотреть кэш путей к исполняемым файлам, который хранится до перезапуска оболочки. Возможно где-то в инструкциях в интернете по настройке чего-либо вы видели запуск этой команды для очистки кэша путей. Иногда это нужно сделать при установке нового софта, когда изменился по какой-то причине путь к исполняемому файлу, который вы ранее уже запускали в консоли в текущем сеансе.

Покажу на практике, как и на что влияет hash.
# htop
# hash
hits command
  1 /usr/bin/htop
# mv /usr/bin/htop /usr/local/bin
# htop
-bash: /usr/bin/htop: No such file or directory
# hash -r
# htop
# hash
hits command
  1 /usr/local/bin/htop

Я запустил htop, он уехал в кэш с путём /usr/bin/htop. Потом я его перенёс в /usr/local/bin/htop и не смог запустить через консоль, пока не очистил кэш команды. На практике заниматься подобным обычно не приходится, но у меня были иногда ситуации, когда этот кэш нужно было почистить. Так что лучше про него знать.

Впервые с hash я познакомился еще во freebsd. Там часто в руководствах после установки чего-то из портов предлагалось очистить hash оболочки командой:
# rehash

В bash на linux аналог этой команды:
# hash -r

Вы можете отключить или снова включить использование кэша исполняемых команд:
# set +h
# hash
-bash: hash: hashing disabled
# set -h

#bash #terminal

⁉️Когда в работе с инфраструктурой необходимы продвинутые навыки мониторинга и логирования?

🔥11 октября этот вопрос обсудит Владимир Дроздецкий, ведущий Linux администратор. Владимир расскажет, какие инструменты помогут оптимизировать рутинные задачи админа и представит программу курса «Мониторинг и логирование». 
Вы также познакомитесь с преподавательским составом и подробнее узнаете о формате обучения в OTUS. 

📍В конце встречи у вас будет возможность занять место в группе по спец.цене.

Чтобы лучше подготовиться к встрече, пройдите вступительный тест, который позволит оценить сложность курса. 

👉Регистрируйтесь на вебинар и подключайтесь! - https://otus.pw/mvyU/

#реклама #бесплатно

​​Делюсь с вами полезным сервисом с функциональным бесплатным тарифом. Речь пойдёт про logtail.com. С его помощью можно собирать различные логи. Так как он поставляется в качестве сервиса, вам самим практически ничего делать не надо, только логи к нему направить. Дальше он сам их распарсит, представит удобный вид для просмотра, настроит дашборды. Поддерживает практически все современные приложения и их формат логов (apache, nginx, docker, syslog, kuber, heroku и т.д.)

Сервис платный, но есть бесплатный тариф со следующими ограничениями:
◽ 1 Гб трафика в месяц
◽ 3 дня хранения логов
То есть в таком виде эта штука подходит для разбора текущих инцидентов небольшого проекта, без хранения исторических данных. Для регистрации достаточно только email. Карту вводить не надо.

Логи сервис собирает с помощью своего сборщика под названием Vector. С ним проще всего, так представлены готовые настройки под него с зашитым вашим токеном, так что настраивать руками ничего не надо. Достаточно скачать конфиг и подсунуть сборщику, если вам подойдут дефолтные настройки. Если не нравится Vector, можете отправлять своими Fluentd, Logstash или Rsyslog.

Я для тестов погонял сборку логов с nginx и apache. Ставил на centos и ubuntu. Настройка элементарная, все работает из коробки. Все инструкции и руководства вам предложат в процессе настройки в личном кабинете, так что не буду на этом останавливаться. В целом, процесс похож на настройку сбора логов в elk stack.

Сервис простой и интуитивный, настраивается через copy-past. Всё сделано для того, чтобы девопсы не отвлекались на всякую ерунду, типа настройки сбора логов. Для них прям готовые консольные команды в руководстве, чтобы не ошибиться при ручном наборе 😃:
# curl -1sLf \
'https://repositories.timber.io/public/vector/cfg/setup/bash.deb.sh' \
| sudo -E bash

Всё сделано для удобства современной разработки.

#сервис #бесплатно #devops