ClickHouse — колоночная СУБД с невероятной скоростью

Классическая проблема любой традиционной реляционной базы данных — это медленная работа сложных запросов, если количество записей достигает нескольких миллиардов строк. Яндекс для построения в интерактивном режиме отчетов по неагрегированным логам разработал аналитическую колоночную СУБД ClickHouse, которая отличается следующими архитектурными особенностями:

•  поддержка приближенных вычислений на части выборки;
•  физическая сортировка данных по первичному ключу;
•  векторные вычисления по кусочкам столбцов;
•  распараллеливание операций;
•  линейная масштабируемость;
•  работа с жесткими дисками;
•  отказоустойчивость.

ClickHouse в 2020 году используется по всему миру для хранения и обработки больших неструктурированных данных, к которым нужно иметь доступ в режиме реального времени. Эта СУБД с невероятной скоростью: ClickHouse обрабатывает до миллиарда строк и десятки гигабайт на один сервер в секунду. Подробнее о возможностях читайте в статье.

Для таких задач, как организация хранилища данных и построение аналитических отчетов, следующий шаг, который позволяет добиться экономии ресурсов и повышенной отказоустойчивости — это работа с управляемым сервисом в облаке. В Yandex.Cloud разворачивать и поддерживать кластеры баз данных на основе ClickHouse можно с помощью Yandex Managed Service for ClickHouse. Попробуйте создать свой первый кластер прямо сейчас — это займет всего пару минут.

​​Бесплатный вебинар ««Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт»» от Mail.ru Cloud Solutions

Cовременный DevOps-подход к работе со Spark, связанный с использованием Kubernetes, позволяет решать задачи изоляции рабочих сред, гибкого управления ресурсами и масштабирования. Популярные материалы останавливаются на запуске тестового приложения в K8s. В своем вебинаре команда MCS идет дальше: даже начинающие научатся обрабатывать данные с помощью Spark в облаке.

На вебинаре вы вместе со специалистами Mail.ru:
— Установите Kubernetes Operator for Apache Spark (Spark Operator);
— Запустите тестовый пример Spark-задачи/приложения;
— Соберете свой Docker-образ со Spark и кастомным приложением;
— Добавите необходимые библиотеки, креды для доступа к S3-хранилищу;
— Научитесь читать из S3 и записывать в него.

По итогам вебинара вы получите готовый репозиторий с инструкцией и сможете самостоятельно повторить все действия, которые будут продемонстрированы в рамках вебинара.

Мероприятие пройдет в четверг, 4 февраля, онлайн.
Начало в 17:00 по Москве.

👉 Регистрируйтесь: https://vk.cc/bXhOkm

driftctl

Detect, track and alert on infrastructure drift

announcing: https://driftctl.com/2020/12/22/announcing-driftctl

code: https://github.com/cloudskiff/driftctl

Т—Ж ищет системного инженера

Тинькофф-журнал — это главное русскоязычное издание про деньги с девятью миллионами читателей в месяц.

Чем предстоить заняться:
— устаканить инфраструктурные рельсы. Сейчас часть проектов на виртуалках в Hetzner, один проект на виртуалках Тинькофф, всё новое в Google Cloud Project. Хотят перетащить все проекты в облако, а соцплатформу — в кубер Тинькофф;
— перевезти журнал на инструменты, которыми сможет управлять сама команда. Не обязательно в другой свой огород — можем использовать сторонние сервисы, если это безопасно и выгодно;
— придумывать, как развивать инфраструктура, процессы разработки и поставки, утверждать этот план с командой и внедрять его;
— улучшать надежность и производительность, помогать с observability журнала — логами, метриками и алертами;
— если что-то сломалось, помогать команде находить причину и чинить поломку. После инцидента — предлагать и внедрять решения, которые не дадут наступить снова на те же грабли.

Ожидания от кандидата:
— Работал на аналогичной должности.
— Работал со стеком Docker, k8s, Terraform и чем-то облачным: AWS, Azure или GCP.
— Владеет bash, python или go, чтобы справляться с автоматизацией.
— Знает методологии DevOps и SRE, но не ограничен ролями, которые те диктуют.
— Слышал о подходе инфраструктура как код.
— Настраивал и автоматизировал CI/CD.
— Знает сети, операционные системы, базы данных и основы архитектуры достаточно, чтобы аргументированно защищать свои решения перед разработчиками.
— Хочет изучать новые подходы и практики, анализировать их и пробовать подходящие.

Кроме белой зарплаты предлагают:
— Фуллтайм-удаленку на время пандемии. Дальше можно будет чередовать с офисом на м. «Динамо» или продолжить работать дома.
— Помощь в переезде в Москву или в город, где у нас офис разработки Тинькофф.
— Гибкий график. Главное — побольше времени пересекаться с остальной командой. Без ночных дежурств.
— ДМС после испытательного.
— Новый мощный ультрабук: MacBook Pro, Lenovo ThinkPad или что-то более экзотичное на выбор.
— Модную лимитированную худи с логотипом Т—Ж после испытательного.

Подробнее о стэке, команде и возможностях роста: https://journal.tinkoff.ru/team/system-engineer/.
Откликнуться: @laidrivm

💣 Отошли от праздников и снова готовы учиться? Начните с бесплатных вебинаров онлайн-курса «DevOps практики и инструменты»:

📌«Demo Day курса «DevOps практики и инструменты»: https://otus.pw/pXC6/
— Познакомитесь с преподавателем-практиком курса. Зададите любые вопросы по DevOps-методологии, входу в профессию и тому, как обеспечить себе надёжный карьерный прогресс.

📌«Prometheus: быстрый старт»: https://otus.pw/IuHF/
— Рассмотрите архитектуру Prometheus. Разберётесь, как система работает с метриками. Поймёте, как формировать алерты и события в системе

🔥Поделится своей экспертизой Владимир Дроздецкий — DevOps-специалист и преподаватель-практик с большим опытом. Регистрируйтесь сейчас — напомним в день вебинара!