Python кодогенерация на благо ETL
https://habr.com/ru/post/569398/?utm_campaign=569398&utm_source=habrahabr&utm_medium=rss

В процессе разработки весьма часто встаёт задача преобразования данных, будь то данные от внешнего источника на пути в базу или данные из базы на пути в отчеты и т.п. Если описывать все необходимые преобразования императивно, то можно довольно скоро загрустить. Можно постараться и сделать всё декларативно, скажем, в виде некоторых dict-ов, в которых задать правила (функции?) по работе с каждым отдельным полем.

Weekly Python StackOverflow Report: (cclxxxv)
http://python-weekly.blogspot.com/2021/07/cclxxxv-stackoverflow-python-report.html

#python #pydigest

Сборник Python новостей уже перед вами.

В выпуске Python Дайджест вы найдете:

- Делаем простого бота в Telegram на Python. Интеграция с Excel
- Как написать Viber чат-бота, работающего с АСУ ТП на базе ПЛК Siemens
- Алгоритмы сортировки NumPy (и танцы, и мемы)
- Streamlit. Поиск кратчайшего пути
- Redis Python based cluster. Часть 2: зачем нужен Dynamo и что делать, когда Redis больше одного
- Python кодогенерация на благо ETL
- Не суйте свой Pydantic в мое Django
- Шпаргалка по командам django-admin
- mem_usage_ui - Memory Graphing UI

Заходите в гости - https://pythondigest.ru/issue/396/
Присылайте интересные новости через форму на сайте.

Машинное обучение в Excel при помощи Python и PyXLL
https://habr.com/ru/post/569520/?utm_campaign=569520&utm_source=habrahabr&utm_medium=rss

К старту курса о машинном и глубоком обучении делимся переводом статьи, автор которой показывает на практике, как модель машинного обучения может использоваться через Excel. Зачем это нужно? Компании больше и больше вкладывают в исследования и разработку моделей прогнозов; по мнению автора оригинала статьи, разработчика и основателя компании PyXLL доступ к ML-моделям через Excel открывает новые горизонты. Вы сможете показать модель пользователям Excel, у которых нет опыта программирования или широких знаний в области статистики. При желании можно создавать инструменты разработки и тренировки моделей полностью в Excel, например строить графы в TensorFlow. Весь исходный код из статьи доступен на GitHub. Читать далее

Как написать Viber чат-бота, работающего с АСУ ТП на базе ПЛК Siemens
https://habr.com/ru/post/569548/?utm_campaign=569548&utm_source=habrahabr&utm_medium=rss

В данном руководстве рассмотрено создание чат-бот помощника в Viber на языке программирования Python. Чат-бот имеет доступ к базе данных MySQL, которая в свою очередь связана с АСУ ТП (автоматизированной системой управления технологическим процессом), разработанной на базе логического контроллера Siemens серии S7-1500.

Moving SciPy to the Meson build system
https://labs.quansight.org/blog/2021/07/moving-scipy-to-meson/

Yappa: запускаем python web-приложения. Просто. Бессерверно. В Яндекс Облаке
https://habr.com/ru/post/569674/?utm_campaign=569674&utm_source=habrahabr&utm_medium=rss

$ yappa deploy Все. Твое python приложение доступно в яндекс облаке, у него есть свой урл, оно готово к любому наплыву посетителей. А платишь ты только за время цпу, затраченное на обработку запросов.

Как я генерировал мандалы
https://habr.com/ru/post/569716/?utm_campaign=569716&utm_source=habrahabr&utm_medium=rss

Первый опыт в веб-разработке и работе с векторной графикой.

Python's collections: A Buffet of Specialized Data Types
https://realpython.com/python-collections-module/

Как сделать DIY-термостат с веб-интерфейсом, чтобы отапливать дом дистанционно
https://habr.com/ru/post/569712/?utm_campaign=569712&utm_source=habrahabr&utm_medium=rss

Недавно моим родителям установили «умный» термостат. И мне подумалось: неужели я не смогу сам сотворить нечто подобное? Отлично помню себя маленьким — я был одержим технологиями, особенно меня восхищали миниатюрные портативные устройства. Восторг вызывали мини-телевизоры, игровые приставки начала девяностых, наладонники Palm Pilot и коммуникаторы Nokia конца этого же десятилетия, карманные компьютеры, появившиеся на рубеже двухтысячных. Как же я мечтал об этом! И думал, что миниатюрные электронные устройства и системы домашней автоматики — это увлечение сильных мира сего, Брюса Уэйна или Тони Старка.

[Видео] Moscow Python Podcast. Про Data Science сообщество (level: all)
https://www.youtube.com/watch?v=8rMYC5ix7d4

В гостях у Moscow Python Podcast Senior Data Scientist компании Lamoda, организатор курсов DadaGym Петр Ермаков. Обсудили с Петром data science сообщество и ивенты .

Как мы строили Data Science экосистему в Россельхозбанке
https://habr.com/ru/post/569816/?utm_campaign=569816&utm_source=habrahabr&utm_medium=rss

Мы продолжаем серию статей про Data Science задачи, решаемые нами в Центре развития финансовых технологий.В прошлых статьях (тут, а также тут) мы рассказывали про решение задач премодерации контента, но не вдавались в детали того, с помощью какого инструментария мы это делали. Сегодня же речь пойдет о том, что помогает нам решать эти задачи, а именно - про нашу Data Science экосистему.

Python-культура в российских IT-компаниях. Часть 1: Тинькофф
https://habr.com/ru/post/569868/?utm_campaign=569868&utm_source=habrahabr&utm_medium=rss

Почему разработчик принимает оффер одной компании и отвергает другой? Глобальный ежегодный опрос Stack Overflow 2020 года показал, что самые важные факторы выбора работы - это языки/ фреймворки/ технологии, на которых предстоит работать, и офисная среда/ корпоративная культура. Помимо вознаграждения, само собой.Мы расспросили разработчиков и их руководителей о python-разработке. И в серии статей расскажем: как устроена “внутренняя кухня” разработки, проектов и продуктов, как компании адаптируют новичков, и какие мотивы были у опытных разработчиков, когда они делали выбор в пользу своего текущего места работы. Первый в очереди - Тинькофф.

Выявление мошеннических сборов в Instagram
https://habr.com/ru/post/569864/?utm_campaign=569864&utm_source=habrahabr&utm_medium=rss

Изначально была выдвинута следующая гипотеза: злоумышленники часто берут фотографии из аккаунтов реальных детей, при этом изменив имя ребенка и реквизиты сбора. Первой мыслью был поиск подобных аккаунтов с дальнейшей классификацией их как подлинные, либо поддельные по каким-то признакам. Однако на практике оказалось, что такие аккаунты довольно быстро блокирует администрация по жалобам пользователей или мошенники закрывают свой аккаунт настройками приватности после появления «разоблачающих» комментариев, неудобных вопросов, и создают новый. При этом реквизиты сбора часто остаются те же самые.

Создаем GAN с помощью PyTorch
https://habr.com/ru/post/569858/?utm_campaign=569858&utm_source=habrahabr&utm_medium=rss

Генеративно-состязательные сети (Generative Adversarial Networks — GAN), предложенные Goodfellow и др. в 2014 году, произвели революцию в области создания изображений в компьютерном зрении — никто не мог поверить, что эти потрясающие живые изображения на самом деле создаются машинами с нуля. И даже больше — люди раньше думали, что задача генерации невозможна, и были поражены мощью GAN, потому что традиционно в этой области просто не существует каких-либо эталонных данных, с которыми мы могли бы сравнить наши сгенерированные изображения.
В этой статье представлена ​​простая идея, лежащая в основе создания GAN, за которой следует реализация сверточной GAN с помощью PyTorch и процедура ее обучения.

Creating Spreadsheets with OpenPyXL and Python
https://www.blog.pythonlibrary.org/2021/07/27/creating-spreadsheets-with-openpyxl-and-python/

Podcast.__init__: Taking Aim At The Legacy Of SQL With The Preql Relational Language
https://www.pythonpodcast.com/preql-relational-algebra-sql-replacement-episode-325/

Audio

Как мы готовили распределенный джойн на Spark Structured Streaming. Доклад с RamblerMeetup&Usermodel
https://habr.com/ru/post/569932/?utm_campaign=569932&utm_source=habrahabr&utm_medium=rss

История о том, как суточный ETL-контур карабкался в реалтайм.В рамках AdTech-подразделения холдинга Rambler&Co выделено отдельное направление Usermodel, которое занимается анализом и сегментацией аудитории, а также повышением конверсий на площадках.

Observer Design Pattern
https://stackabuse.com/observer-design-pattern-in-python

Python and REST APIs: Interacting With Web Services
https://realpython.com/api-integration-in-python/