Netflix опубликовали открытый код Metaflow UI [1], веб интерфейса для разработанного ими движка Metaflow [2] по моделированию потоков данных/труб данных (data pipelines) в целях data science. Для тех кто регулярно работает с задачами по машинному обучению инструмент может быть полезен. Подробнее в блоге Netflix [3], с рассказом о том почему и кому этот GUI может быть полезен.

Ссылки:
[1] https://github.com/Netflix/metaflow-ui
[2] https://metaflow.org/
[3] https://netflixtechblog.com/open-sourcing-a-monitoring-gui-for-metaflow-75ff465f0d60

#data #datatools #datapipelines #opensource

труб данных ?) Пайплайнов - англицизм, но всем понятен...

Пайплайн - трубопровод.
Думаю если так и сказать - трубопровод, то суть будет ясна.

Правильный термин pipeline = конвейер, в программировании он так и переводится

пайплайн, конечно, скорее конвейер, но как-то уже сложился этот англицизм в практике, по моему опыту понятнее когда его пайплайном называешь. Но может у кого есть другой опыт?

+1 к англицизму.

может, инфраструктура как вариант
(хотя конвейер лучше)

А как вам такое требование - https://virtual-troika.mosmetro.ru/

Ну хорошо что gmail.com , а не gov.ru

Ну простейшая проверка граматики должна же быть

Я в декабре 2019 года писал про проект ASPI по идентификации активности китайских технологических компаний в мире, он не обновлялся почти 2 года и, оказывается, неожиданно был обновлён в июне 2021 г. В виде большого набора данных и на карте собраны сведения о 3948 инициативах китайских технологических компаний в мире: совместных производствах, контрактах, обучении, дочерних предприятиях, тренингах и многом другом. Всего 27 компаний в 186 странах. В России всего 121 такой проект. Можно обратить внимание, например, на проекты Meiya Pico, продавших в 2018 году Следственному комитету РФ технологию MagiCube для вскрытия телефонов iPhone и Android. По видимому, они заменили, израильскую компанию Cellebrite продуктами которой ранее пользовались отечественные правоохранители.

Что тут добавить, если даже российские госорганы закрывают госзакупки, это не значит что информацию о них скроют поставщики. Им же надо привлекать клиентов и показывать успехи.

#privacy #china #surveillance

Требование странное

Видимо, это из-за способа оплаты

Непатриотичное, где MirPay?

Ну я подумал что почту Гугла просят из-за оплаты Гуглом

В РФ коммуникация с народом считается не нужной

В рубрике "открытые большие наборы данных", напомню про многочисленные открытые наборы данных с которыми можно работать в любое время.

* Common Crawl - огромный общедоступный поисковый индекс. На его основе создается множество проектов, включая, например, PrivaSeer, поисковик по условиям приватности.
* Wikipedia dumps - дампы базы данных Википедии и связанных с ней проектов, на всех языках.
* DBLP - открытая база данных библиографии в computer science. Полезная всем кто разрабатывает алгоритмы поиска трендов в научных исследованиях.
* Awesome Public Datasets - большой каталог источников открытых данных, как правило, большого объёма.

И, конечно, напомню про свежезапущенный нами каталог каталогов данных (datacatalogs.ru) где можно найти каталог данных в России, о России, связанных с России и русскоязычными пользователями данных.

#opendata #datasets #datasources