ETL-пайплайны на Airflow: Хороший, Плохой, Злой
https://habr.com/ru/post/582876/?utm_campaign=582876&utm_source=habrahabr&utm_medium=rss

Airflow это популярная опенсорсная платформа управления задачами. В частности его используют для построения ETL-пайплайнов. Например, мне доводилось переливать данные между базами данных, хранилищами и озерами данных с его помощью. А также я использовал его для препроцессинга данных для моделей машинного обучения. Но так ли подходит Airflow для ETL на сегодняшний день?

Wagtail — лучшая CMS на python в нашей галактике
https://habr.com/ru/post/582898/?utm_campaign=582898&utm_source=habrahabr&utm_medium=rss

Wagtail - это популярная CMS на основе Django. Django предоставляет огромные возможности - с его помощью созданы не только сайты, но и, например, популярный веб-сервис комментариев disqus (https://blog.disqus.com/scaling-django-to-8-billion-page-views), веб-сервис хранения git репозиториев bitbucket и многое другое. На django можно создать все что угодно.
 

[Видео] Moscow Python Podcast. Docs as Code (level: all)
https://www.youtube.com/watch?v=A5huhm1eUSA

В гостях у Moscow Python Podcast разработчик компании Recall Masters Анатолий Щербаков. Поговорили с Анатолием о документации к вашему коду, почему она нужна и о подходе Docs as Code.

ML-модели в BI: интеграция с Python через JupyterHub
https://habr.com/ru/post/580284/?utm_campaign=580284&utm_source=habrahabr&utm_medium=rss

SQL в SQLAlchemy
https://habr.com/ru/post/581304/?utm_campaign=581304&utm_source=habrahabr&utm_medium=rss

Меня зовут Алексей Казаков, я техлид команды «Клиентские коммуникации» в Домклик. По моему опыту подавляющее большинство приложений, взаимодействующих с базой данных, использовали для этого Object Relational Mapper. В этой статье я продолжу знакомить вас с популярными ORM, которые встречались мне в продовых проектах. В прошлый раз (https://habr.com/ru/company/domclick/blog/552930/) мы рассматривали Django ORM , а сегодня на очереди всемогущий SQLAlchemy (https://www.sqlalchemy.org/).

Django Admin с миллионами записей — 11 практик оптимизаций для начинающих
https://habr.com/ru/post/322114/?utm_campaign=322114&utm_source=habrahabr&utm_medium=rss

Django — самый популярный Python web-framework. За больше чем 10 лет оброс огромным слоем возможностей. Среди них можно выделить — Django Admin — это готовый CRUDL интерфейс с поиском, фильтрами и хитрыми настройками. Каждый раз стартуя проект на Django, удивляюсь насколько круто иметь админку — web интерфейс просмотра данных. Да еще и бесплатно. Каждый раз поддерживая проект на Django, удивляюсь, как же сложно поддерживать админку в рабочем состоянии. В этой статье я постараюсь привести 11 практик, которые позволят избегать тормозов админки максимально долго.

Как я сжимал модель fastText для реальной задачи в 80 раз в 2021 году
https://habr.com/ru/post/582980/?utm_campaign=582980&utm_source=habrahabr&utm_medium=rss

FastText — это отличное решение для предоставления готовых векторных представлений слов, для решения различных задач в области ML и NLP. Но основным недостатком данных моделей является, то что на текущий момент обученная модель FastText на русскоязычном корпусе текстов Википедии занимает немногим более 16Гигабайт, что в значительной мере сужает возможности использования данной технологией.

Хардкорная разработка под Телеграм. Бот-модератор своими руками. Часть 2
https://habr.com/ru/post/582886/?utm_campaign=582886&utm_source=habrahabr&utm_medium=rss

Вот такой я коварный: пообещал продолжение туториала и ничего не публиковал несколько месяцев. Исправляюсь.

Первая часть тут (https://habr.com/ru/post/553968/).

Полный код второй части здесь (https://github.com/Tm-A-T/admin-bot-tutorial/tree/chapter-2).

Создайте средство проверки на плагиат с помощью машинного обучения
https://habr.com/ru/post/582094/?utm_campaign=582094&utm_source=habrahabr&utm_medium=rss

Используя машинное обучение, мы можем создать нашу собственную программу проверки на плагиат, которая выполняет поиск украденного контента в огромной базе данных. В этой статье мы сделаем  демонстрационное приложение для этой цели.

Пишем свой Google, или асинхронный краулер с rate limits на Python
https://habr.com/ru/post/583036/?utm_campaign=583036&utm_source=habrahabr&utm_medium=rss

Сегодня расскажу, как написать асинхронный краулер. Такая задача часто встречается на практике, когда нужно реализовать периодическую синхронизацию/обкачку между сервисами. 

Частотный биграммный анализ на Python
https://habr.com/ru/post/583304/?utm_campaign=583304&utm_source=habrahabr&utm_medium=rss

Понадобилось мне для одного проекта, о котором хотелось бы отдельно написать через недельку, узнать частотность (как базовую, так и парную) буквенных символов в русском и английском языках.

Прогнозируем сервис оборудования … по истории Service Desk
https://habr.com/ru/post/583356/?utm_campaign=583356&utm_source=habrahabr&utm_medium=rss

Попытаемся спрогнозировать запросы на обслуживание оборудования, по истории запросов в Service Desk. Имеется однотипное оборудование компании, в разных регионах, например, станки, или сервера. Имеется департамент сервиса, который выполняет заявки на обслуживание серверов: почистить, заменить деталь, обновить софт. Имеется Service Desk система, в которой ведется история этих заявок, за несколько лет.

Поиск и обработка информации на файловых ресурсах
https://habr.com/ru/post/583344/?utm_campaign=583344&utm_source=habrahabr&utm_medium=rss

Начнем с точки входа в приложение.  Чтобы инструмент удобно было использовать, напишем приложение с командным интерфейсом. Перед началом работы также стоит создать переменное окружение и активировать его.

Разработка системы заметок с нуля. Часть 3: знакомство с Neo4j, работа над микросервисами CategoryService и APIService
https://habr.com/ru/post/582500/?utm_campaign=582500&utm_source=habrahabr&utm_medium=rss

Мы продолжаем разрабатывать систему заметок с нуля. В третьей части серии материалов мы познакомимся с графовой базой Neo4j, напишем CategoryService и реализуем клиента к новому сервису в APIService.

Хардкорная разработка под Телеграм. Бот-модератор своими руками. Часть 3
https://habr.com/ru/post/583560/?utm_campaign=583560&utm_source=habrahabr&utm_medium=rss

Продолжаем писать своего крутого бота-модератора чатов на Python.В этой части мы сделаем команды для модерации. Админы чата смогут банить участников, запрещать им писать в чате, давать предупреждения с помощью команд /ban, /mute, /warn.Некоторые боты-администраторы используют не слэш-команды, а команды через, например, восклицательный знак: !ban, !mute. Но мы будем использовать слэш: это "нативные" команды в Телеграме. Они подсвечиваются в сообщениях, и их можно добавить в список команд для автодополнения.

#python #pydigest

Сборник Python новостей уже перед вами.

В выпуске Python Дайджест вы найдете:

- Разбираемся с параллельными и конкурентными вычислениями в Python
- Пишем свой блокчейн
- Wagtail — лучшая CMS на python в нашей галактике
- Поиск и обработка информации на файловых ресурсах
- Пишем свой Google, или асинхронный краулер с rate limits на Python
- Как я сжимал модель fastText для реальной задачи в 80 раз в 2021 году
- Выбираем логин на Яндекс.Почте

Заходите в гости - https://pythondigest.ru/issue/408/
Присылайте интересные новости через форму на сайте.

Пишем свой блокчейн
https://habr.com/ru/post/583606/?utm_campaign=583606&utm_source=habrahabr&utm_medium=rss

Вы здесь, потому что, как и я, взволнованы ростом криптовалют. И хотите знать, как работает блокчейн - фундаментальную технологию, лежащую в его основе.Но понять блокчейн непросто - по крайней мере, не для меня. Я пробирался через тупые видео, следовал руководствам и разочаровывался из-за слишком малого количества примеров.Мне нравится учиться на практике. Это заставляет меня заниматься предметом на уровне кода, что разжигает любопытство. Если вы сделаете то же самое, в конце этого руководства у вас будет работающий блокчейн с твердым пониманием того, как он работает.

Анализ и визуализация данных в финансах — анализ ETF с использованием Python
https://habr.com/ru/post/583808/?utm_campaign=583808&utm_source=habrahabr&utm_medium=rss

С проникновением аналитики во многие сферы нашей жизни она не могла обойти стороной финансы. В этой статье рассмотрим ее применение для анализа ETF с целью их анализа, в том числе и с применением визуализиции.

#python #pydigest

Сборник Python новостей уже перед вами.

В выпуске Python Дайджест вы найдете:

- Python кодогенерация на благо ETL — часть 2
- Реализация кластеризации методом k-средних на Python (с визуализацией)
- Генерация признаков из временных рядов
- Игра в бисер на Python
- Создаем начальную миграцию с alembic для существующей базы
- Как стать web-разработчиком на Python за полгода: конкретный план действий
- Moscow Python Podcast. О развитии разработчика (level: all)

Заходите в гости - https://pythondigest.ru/issue/409/
Присылайте интересные новости через форму на сайте.

Python кодогенерация на благо ETL — часть 2
https://habr.com/ru/post/583984/?utm_campaign=583984&utm_source=habrahabr&utm_medium=rss

В первой части (https://habr.com/ru/post/569398/) я поделился мыслями, которые побудили к созданию python библиотеки convtools (https://github.com/westandskif/convtools). Кратко о ней: предоставляет примитивы (конверсии), объединяя которые, можно описывать сложные конверсии для обработки данных. Конверсия генерирует узкоспециализированный код, компилирует его и возвращает функцию, решающую конкретную задачу.