Олег в выступлении сфокусировался на задачах, которые могут решать data-pipelines. Показал сильные и слабые стороны данного подхода. Рассказал как устранить слабые стороны в библиотеке stairs и почему эта концепция заслуживает внимания python разработчика

Stairs — это framework который позволяет максимально легко создавать data pipelines различной сложности, и выполнять параллельные распределенные вычисления.

Одна из основных идей заключается в том, чтобы сфокусировать работу программиста только на обработке данных, а все процессы связанные с распределенными вычислениями можно будет доверить stairs. Кроме распределенности stairs позволяет легко понимать и представлять весь поток обработки данных — это особенно важно когда тебе нужно протестировать большое количество подходов (например при обучении ML моделей).
Полезные ссылки:
- основной сайт — http://stairspy.com
- GitHub-репозиторий — https://github.com/electronick1/stairs
- примеры — https://github.com/electronick1/stairs_examples

Python Meetup - встречи…

Custom Selenium Chromedriver up to v84 | Passes ALL bot mitigation systems (like Distil / Imperva/ Datadadome, Botprotect)  - ultrafunkamsterdam/undetected-chromedriver