Я хотел сегодня написать про очередное решение Роскомнадзора по блокировке VPN сервисов, но тут мне позвонили из Росбалта и в итоге я им наговорил на небольшую заметку [1].

Если вкратце, то чем больше Роскомнадзор будет блокировать платные коммерческие сервисы, тем большее число людей будут разворачивать себе личные VPN сервера и использовать что-то вроде Outline [2].

Я повторю одну и ту же мысль, в ситуации большого числа технически грамотных граждан все блокировки и ограничения бессмысленны без контроля конечных устройств пользователей. А такой контроль даже в Китае не обеспечивают.

При этом, я не хочу подсказывать Роскомнадзору как можно эффективно ограничивать VPN сервисы, а наоборот надо им спасибо сказать за то что они не могут эту работу сделать хорошо.

Ссылки:
[1] https://www.rosbalt.ru/moscow/2021/07/12/1910982.html
[2] https://getoutline.org/ru/

#privacy #vpn #security

Весьма любопытный проект по визуализации бедности на карте с довольно высокой гранулярностью [1]. Охватывают большую часть Африки, и ряд других регионов. Не охватывают Россию совсем, зато есть Казахстан.

Разработчики - DIDL [2], лаборатория при  Berkeley School of Information. Источник данных Relative Wealth Index [3] опубликованные Facebook на Humanitarian Data Exchange в рамках их инициативы Data4Good.

Ссылки:
[1] http://beta.povertymaps.net
[2] https://didl.berkeley.edu/
[3] https://data.humdata.org/dataset/relative-wealth-index

#opendata #maps #poverty

Сегодня в пресс-центре МИЦ Известия прошла пресс-конференция Минэкономразвития "
Открытые данные в России. Новые вызовы и задачи" [1]. Минэкономразвития представляло там свои оценки зрелости в публикации данных ФОИВами и региональными властями. Я же говорил о том что за всеми публикациями данных органами власти не решены системные проблемы недоступности данных о качестве жизни, отсутствия муниципальных, гиперлокальных данных, то что многие инициативы по открытости сворачиваются.

И, самое главное, после закрытия совета по открытым данным при правительственной комиссии нет ни одной площадки для диалога пользователей данных и тех кто обязан их публиковать.

Это проблема и для бизнеса, и для журналистов, и для исследователей и для всех остальных пользователей данных.

Поэтому что делать? Для начала, восстанавливать инструменты и механизмы диалога на уровне Правительства РФ.

Ссылки:
[1] http://pc.iz.ru/tpost/exsic0c5m1-otkritie-dannie-v-rossii-novie-vizovi-i

#opendata #opengov

В Евросоюзе 8 НКО: Open Contracting Partnership, Transparency International, TI Lithuania, TI Portual, ePanstvo Foundation,  ParliamentWatch (Italy), Access Info, Funky Citizens и K Monitor объединились для совместного контроля за госзакупками стран Евросоюза в проекте Open Procurement: Coalition for open, fair, and accountable public spending in the EU [1].

Инициатива интересная, в контексте COVID-19 явно будет акцент на закупке вакцин, но не только про них. Как точка входа в европейские инициативы контроля за расходом госфинансов - интересный ресурс.

Ссылки:
[1] https://www.open-procurement.eu

#opengov #transparency #procurement #eu

У Bessemer Venture Partners большой обзор рынка стартапов формирующих инфраструктуру данных Roadmap: Data Infrastructure [1]. Обзор ориентирован, в первую очередь, на инвесторов в подобные компании. Много важных факторов рынка подмечено, хорошо изложено и, в принципе, очень полезный материал.

Я коротко изложу основные тезисы:
1. Исследователи данных (data scientists) определяют решения.
Сейчас новые стартапы и продукты ориентируются на ниши работы с данными где есть исследователи данных и их потребности. Продукты в других областях тоже появляются, но приоритет, всё же, на data science.
2. Отделение сложности работы данными от инженеров данных.
У бизнес потребителей и data scientist'ов есть потребность в данных, но работа инженеров данных может занимать дни. Всё большее число стартапов фокусируются на ускорение доставки данных и на "трубах данных без дата инженеров" упрощая интерфейсы и заменяя команды дата-инженеров внутри.
3. Управление данными, мониторинга и наблюдаемость
Число источников данных значительно выросло, выросла сложность работы с ними и всё больше нового регулирования, особенно, в части приватности. Каталоги данных, прослеживаемость данных и мониторинг данных являются важными приоритетами в новой ситуации.
4. Новая волна BI и дата аналитики
С прицелом на реальное время, автоматизацию и быстрое развертывание. Очень многие создаются под задачи специфические для конкретных индустрий.
5. Инфраструктура для машинного обучения
Многие стартапы фокусируются на том чтобы машинное обучение можно было бы разворачивать в короткие сроки, создают инфраструктуру в виде инструментов, обогащения данных и многое другое

В целом, конечно, важно помнить про то что это взгляд венчурного фонда с подчеркиванием профиля компаний в их портфеле, но тезисы и тренды (их можно прочитать в публикации) подмечены весьма точно.

Ссылки:
[1] https://www.bvp.com/atlas/roadmap-data-infrastructure

#data #datainfrastructure

Подборка ссылок по работе с данными и не только:
- Against SQL [1] хороший обзор текущего состояния SQL и того какие у него есть альтернативы. Я скажу честно уже много лет как стараюсь использовать различные альтернативы SQL в проектах если только нет в этом острой необходимости. У автора много дельных аргументов и хороших примеров.
- Beneficial ownership information [2] у Open Contracting подробности о регулировании раскрытия информации о конечных владельцах компаний участвующих в госзакупках. В тесной связке с проектом Open Ownership который делает на этом большой фокус [3]. Журналистам на заметку, в Великобритании полностью раскрывается реестр конечных владельцев юридических лиц People with significant control (PSC) [4], а Open Ownership публикуют его в формате BODS [5] удобном для работы.
- The Untold Story of SQLite история SQLite, одной из наиболее активно используемых систем управления базами данных в мире. Пример open source продукта в каждодневном использовании [5]

Ссылки:
[1] https://scattered-thoughts.net/writing/against-sql/
[2] https://standard.open-contracting.org/latest/en/guidance/map/beneficial_ownership/
[3] https://www.openownership.org/
[4] http://download.companieshouse.gov.uk/en_pscdata.html
[5] https://register.openownership.org/data_sources/uk-psc-register
[6] https://corecursive.com/066-sqlite-with-richard-hipp

#opendata #opensource #data

В Protocol лонгрид  Concern trolls and power grabs: Inside Big Tech’s angry, geeky, often petty war for your privacy [1] о том как компании big tech, особенно Google, продвигают через W3C стандартизацию приватности по умолчанию и убивают мелкий бизнес следящих за пользователями маркетинговых сервисов (и ещё Facebook _немного_ убивают), а этот самый мелкий бизнес активно сопротивляется, я бы даже сказал довольно бурно сопротивляется, как минимум в Великобритании, но не только.

Сама статья о том что W3C превратилось в поле битвы коммерческих интересов, а крупные монополии превращают свои экосистемы в жестко контролируемые среды.

За скобками остаётся лишь вопрос - в каких случаях сам пользователь приобретает или теряет больше? Хотим ли мы чтобы за нами следили 5-6 крупных мега-гига-супер-технокорпораций или лучше когда это имеют возможность делать тысячи компаний? С точки  зрения регулирования рынков - лучше если тысячи компаний. А с точки зрения пользователей?

Хороший, подробный, интересный материал по развитию технологической политики в области приватности. И затронет не только европейский или американский, но и российский рынок тоже.

Ссылки:
[1] https://www.protocol.com/policy/w3c-privacy-war

#privacy #regulation

Пришла пора раскрыть подробности по проекту, которым я и наша команда занимались полтора месяца. Вернее, готов он был ещё 2 года назад и поставлен на паузу, а за эти полтора месяца был приведен в полу-продуктовый вид.

DataCrafter (https://beta.apicrafter.ru/) — это каталог баз данных и коммерческих API. Большая часть данных в нем — открытые данные с возможностью работы без авторизации и скачивания их в виде архива с пакетом данных, а часть доступны только в режиме ограниченного доступа к API, после регистрации до 500 запросов в сутки.

Вот примеры некоторых баз данных:
- Базы архивных госконтрактов федерального бюджета с 2007 до 2013 года https://beta.apicrafter.ru/packages/reestrgk
- Поставщики по госконтрактам системы госзаказа Москвы https://beta.apicrafter.ru/packages/zakmossuppliers
- Единый реестр застройщиков https://beta.apicrafter.ru/packages/domrfdevelopers
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
а также многое другое.

Сейчас загружены 154 базы данных по юр. лицам и множество баз данных по другим направлениям. По каждой базе есть примеры данных и частично готова и далее в работе документация. В публичной версии частота обновления данных пока достаточно редкая, после завершения беты, большая часть данных будет обновляться ежесуточно/еженедельно, в соответствии с первоисточником. Многие данные доступны как открытые данные, в основном это данные не имеющие коммерческой ценности или же данные небольшого объёма.

До конца года будут добавлены ещё несколько сотен ключевых баз данных и появятся дополнительные специализированные API.

Также, обратите внимание, это не вполне стандартный каталог данных. У него есть важная особенность в том что таблицы связаны через уникальные идентификаторы (ИНН, ОГРН, КБК, кадастровый номер и многое другое). Эта классификация почти полностью автоматизирована и создана для автоматизации подготовки документации по каждому набору данных.

Протестировать можно по ключу или по открытым API не требующим ключа, например https://beta.apicrafter.ru/packages/massfounders и открытое API https://api.crftr.net/open/rawapi/v3/massfounders/massfounders

Подробная документация по ссылке - https://www.postman.com/infoculture/workspace/apicrafter-public/

Пример кода на Python для сбора данных о юридических лицах - https://github.com/apicrafter/apicrafter-example-orgprofile

Для получения ключа можно зарегистрироваться на сайте самостоятельно, по умолчанию ключ даёт возможность делать до 500 запросов в сутки. Будем благодарны за обратную связь по проекту от всех, кто им воспользуется.

Если у Вас некоммерческий проект, журналистское расследование или Вы работаете над научной статьей, во всех случаях некоммерческого использования данных, напишите нам на apicrafter@apicrafter.ru.

Больше подробностей будет в канале @apirafter в телеграм. Следите за новостями!

Один из наборов данных в DataCrafter'е - это база государственных доменов, которую я много лет веду для Национального цифрового архива (ruarxive.org) в виде репозитория на Github'е [1] и в виде базы в Airtable, причём сейчас именно база в Airtable наиболее вычищена и актуальна.

В DataCrafter она загружена 5 таблицами [2]:
- Домены
- Корневые домены
- ASN
- Госорганы и организации
- Регионы
- Государственные информационные системы

Это открытая часть контура DataCrafter'а поэтому все эти данные можно скачать одним архивом в разделе "Сборки и версии" [3], а также можно воспользоваться API без авторизации и ключа.
Как проверить домен что это домен госоргана или госструктуры
Пр запросу
https://api.crftr.net/open/rawapi/v3/govdomains/domains?where={%22Domain%22:%22sudrf.ru%22}
передаётся параметр Domain и можно получить карточку домена если он есть в базе.

Или мы хотим получить список доменов Минюста России. Минюст России есть в таблице организаций [4]
с идентификатором recPluHB9B0SGs867 . Передаём его как параметр к запросу этой таблицы [5] и получаем список идентификаторов доменов в поле Domains.

Для каждого домена делаем запрос с параметром id из поля Domains и получаем карточки каждого домена
https://api.crftr.net/open/rawapi/v3/govdomains/domains?where={%22id%22:%22recPjVbY9U2r6LTOX%22}

Аналогично работают API для доступа к остальным таблицам и, ещё раз напомню, можно скачать эту базу данных целиком. Все данные в пакете данных хранятся в формате JSON lines и легко импортируются в любую СУБД для работы JSON документами.

Ссылки:
[1] github.com/infoculture/govdomains/
[2] https://beta.apicrafter.ru/packages/govdomains/tables
[3] https://beta.apicrafter.ru/packages/govdomains/builds
[4] https://beta.apicrafter.ru/tables/govdomains/organizations
[5] https://api.crftr.net/open/rawapi/v3/govdomains/organizations?where={%22id%22:%22recPluHB9B0SGs867%22}

#opendata #opengov #govdomains

К вопросу о регулярных разговорах о том как те или общественные проблемы решать правильно или неправильно, есть то что является шаблонами по которым такие проблемы и их решения моделируют.

Например,  у The GovLab есть достаточно давний шаблон "GovLab Public Problem Solving Canvas" как раз для описания общественной проблемы/задачи и пути её решения и об этом же статья ещё из 2015 года [2]. Впрочем с той поры мало что изменилось и этот шаблон актуален.

Для работы с открытыми данными таже есть шаблоны / готовые модели для проектирования. Например, у Open Data Charter есть Publish with purpose canvas [3], это шаблон по которому описывается то зачем, с какой целью необходима публикация данных, включая последующее применение. А у Института открытых данных есть Data Ethics Canvas [4] для проектирования систем с этическим управлением данными.

Здесь хочется, с одной стороны, сказать что многие из таких шаблонов недолговечны, и меняются вместе с подходами к осуществлению государственной или корпоративной политики, но, многие, наоборот, не теряют актуальности.

У ОЭСР в обсерватории инноваций госсектора много примеров таких шаблонов [5].

Ссылки:
[1] https://canvas.govlabacademy.org
[2] https://www.nesta.org.uk/blog/tech4labs-issue-4-canvassing-the-value-proposition-of-your-public-lab-project/
[3] https://drive.google.com/file/d/1uJR-j4-11PDKKLPX5ZY0mcMfqFfSQATp/view
[4] https://theodi.org/article/the-data-ethics-canvas-2021/
[5] https://oecd-opsi.org/?s=canvas

#opengov #policy #opendata

Как публикуют открытые данные ФОИВы? Часто, слишком часто зачищая опубликованное. Пример, сайт Ростехнадзора [1] где вместо перевода в архивное состояние данные просто с сайта убирали, причём оставляя пустые строки в спике. Мало того что сами данные довольно бесполезны и публикуются плохо, только в CSV формате, без раскрытия данных из их реестров и информационных систем, так ещё и с удалением "хвостов".

Всё это хорошо видно через веб-архив [2]

Ссылки:
[1] http://gosnadzor.gov.ru/opendata/
[2] https://web.archive.org/web/diff/20200804134904/20210421004818/http://gosnadzor.gov.ru/opendata/

#opendata

Журналистам на заметку, помимо канала Госзатраты в телеграм, у Госзатрат есть открытое API с помощью которого можно не только запрашивать данные, но и делать боты вроде того что наполняет этот канал. Если Вы хотите получать поток новостей по Вашей теме, то достаточно настроить такой бот под себя и получать новости на регулярной основе.

Заключен дорогой контракт в категории 'Строительство':
Реконструкция аэропортового комплекса с. Чара (Забайкальский край) - этап 1.1 и др.
Сумма контракта: 2,1 млрд. руб.
Наименование заказчика: ГОСУДАРСТВЕННОЕ КАЗЕННОЕ УЧРЕЖДЕНИЕ "СЛУЖБА ЕДИНОГО ЗАКАЗЧИКА" ЗАБАЙКАЛЬСКОГО КРАЯ
Поставщик: ПУБЛИЧНО-ПРАВОВАЯ КОМПАНИЯ "ВОЕННО-СТРОИТЕЛЬНАЯ КОМПАНИЯ"
Регион: Забайкальский край
Дата заключения: 12.07.2021
       
Подробнее о контракте
#строительство

162 миллиарда рублей было потрачено из федерального бюджета и 779 миллиардов из региональных бюджетов в 2020 году году на субсидии некоммерческим организацям. Из них на "классический некоммерческий сектор" (благотворительные фонды, НКО частных лиц и тд.) ушло не более 5% этой суммы через Фонд президентских грантов и региональные конкурсы. Остальные средства распределялись между несколькими сотнями крупнейших НКО учредителями которых являются госорганами, госучреждения, госкорпорации или иную прямую аффиляцию с государством. Я писал об этом в марте 2020 года в колонке РБК [1], сейчас, наконец-то, есть обновлённые цифры и желание закончить доклад о госрасходах на НКО в виде полноценного подробного документа с описанием ситуации. Но, может быть, надо просто написать ещё одну колонку.

Ссылки:
[1] https://www.rbc.ru/opinions/politics/13/03/2020/5e69e70a9a7947737fc79cf3

#ngo #government #budgets

Подборка полезных новостей про данные и не только:
- IBM купили Bluetab [1] разработчиков open-source продукта Truedat [2] для управления данными и их каталогизации
- В России утвердили стандарт больших данных [3], он, на самом деле, словарь, но может хоть наличие стандарта оставит все эти бесконечные терминологические споры (или усилит их)
- Quickwit [4] инструмент по быстрому превращению JSON документов в API с полнотекстовым поиском, поддерживает 17 языков на основе латиницы, китайский и корейский и другие языки библиотеки Tantivy [5] на которой он основан, хотя может быть и русский тоже, надо проверять. Написано на языке Rust.
- Анонсирована конференция PyData Global 28-30 октября и туда стоит подаваться с заявками на выступление [6]
- большая подборка ссылок и материалов о инициативах Data4Good [7]
- что такое современный стек данных (data stack) [8] через взгляд 5 разработчиков облачных сервисов и продуктов

Ссылки:
[1] https://bluetab.net/en/software/fastcapture/
[2] https://www.truedat.io
[3] https://www.vedomosti.ru/technology/articles/2021/07/15/878242-utverzhden-pervii-standart-v-oblasti-bolshih-dannih%C2%A0
[4] https://github.com/quickwit-inc/quickwit/
[5] https://github.com/tantivy-search/tantivy
[6] https://pydata.org/global2021/present/
[7] https://www.data.org/charting-the-data-for-good-landscape/
[8] https://www.rilldata.com/blog/5-founders-define-the-modern-data-stack

#opendata #data #datacatalogs

Регулярное пополнение наборов данных в APICrafter'е на 17 июля.

Добавлены наборы данных в разделе Инфраструктура
- точки продах Мегафон https://beta.apicrafter.ru/packages/megaphonsalespoints
- точки продаж МТС https://beta.apicrafter.ru/packages/mtssalespoints
- точки продаж Tele2 https://beta.apicrafter.ru/packages/tele2salespoints
- точки продаж Yota https://beta.apicrafter.ru/packages/yotasalespoints

Добавлены наборы данных в разделе Финансы
- Динамика курсов валют https://beta.apicrafter.ru/packages/cbrcurrencies
- Ключевая ставка Банка России https://beta.apicrafter.ru/packages/cbrkeyrate
- MosPrime Rate https://beta.apicrafter.ru/packages/cbrmosprime
- Ставка по кредитам овернайт (Банк России) https://beta.apicrafter.ru/packages/cbrovernight
- Международные резервы Российской Федерации  https://beta.apicrafter.ru/packages/cbrreserves

В основном это данные, относительно, небольшого объёма в десятках тысяч записей, однако, к примеру, динамика курсов валют это 218 тысяч записей начиная с 1 июля 1992 года ежедневно по 144 валютам.

Все данные можно скачать как открытые данные и сейчас они доступны без необходимости авторизации. А также их можно скачать в виде слепков в формате BSON для СУБД MongoDB в сборках данных, пример, https://beta.apicrafter.ru/packages/cbrcurrencies/builds

Новые данные будут появляться еженедельно. Пока проект в стадии beta они будут актуализироваться время-от-времени, нерегулярно, а далее уже на регулярной основе.

Предложения, идеи и вопросы можно писать в форумах сообщества проекта https://apicrafter.userecho.com или в комментариях к постам в этом канале.

Вообще прежде чем запускать DataCrafter [1] я изучил несколько десятков каталогов данных и специального ПО для ведения таких каталогов.

У них у всех примерно 3 ниши:
- научная (репозитории научных данных)
- корпоративная/коммерческая (каталоги для data science)
- государственная (каталоги открытых данных)

Я об этом писал в большом обзоре в январе этого года [2].

Вот DataCrafter в чистом виде ни под одну из этих категорий не попадает поскольку это, по сути, некоторая польза для сообщества, некоторые возможности для аналитиков, а также... огромный тестовый полигон для тестирования алгоритмов автоматизации документирования данных, распознавания их структуры, классификации данных по типам и структуре полей и ещё многое другое.

У хорошего каталога всегда есть как минимум 4 направления развития:
- больше данных
- лучшее описание/документирование/инструментальное обеспечение данных
- улучшенный пользовательский интерфейс
- хорошая интеграция со всем что активно используется

Вот сейчас данных вроде как много, 359 доступных наборов данных, а можно добавить ещё несколько десятков тысяч (буквально), но тогда надо перестраивать веб-интерфейс потому что в текущем работать с такого рода количеством данных будет неудобно и полезные данные смешаются со всяким мусором.

Для документирования огромное пространство возможностей потому что сейчас не подгружена документация к 16386 полям. Документирование - это, всегда, самая ресурсоёмкая задача. Поскольку ещё и первоисточнику не всегда можно доверять, данные документации даже если даны структурировано, но ошибки часты. Без алгоритмической классификаци и автодокументирования тут не обойтись.

Пользовательский интерфейс самая понятная и самая сложная штука. Понятная потому что примеров много, сложная потому что разным пользователям нужно разное.

И интеграция это то без чего большинство пользователей не могут обойтись. И тут самое главное расстановка приоритетов, что и как должно быть в первую очередь.

Примеры для вдохновения больших публичных каталогов - это QRI [3],  Data.world [4], Airtable [5], Dolthub [6] и многие другие

Сейчас DataCrafter - это каркас под все эти направления. Со сдержанным ростом числа баз данных, напащиванием алгоритмических возможностей и постепенным улучшением пользовательского опыта. Самое простое - это нарастить его объёмы, самое интересное - прокачать алгоритмы, самое важное - обеспечить пользователей удобными инструментами.

Ссылки:
[1] https://beta.apicrafter.ru
[2] https://begtin.substack.com/p/11
[3] https://qri.io
[4] https://data.world
[5] https://airtable.com
[6] https://www.dolthub.com

#data #datacatalogs #datacrafter

В OpenDemocracy статья Jansen Reventlow о том как государственные (автоматизированные) системы выходят из под контроля и разрушают жизни Government algorithms are out of control and ruin lives  [1] со свежими примерами внедрения автоматических алгоритмов в Нидерландах. Скандал привел к заявлению об отставке правительства страны из-за плохого управления субсидиями на детей [2]. Ранее голландское агентство по защите данных выявило что голландская налоговая служба неэффективно управляла системой раздачи детских пособий. Эта система была организована так что правительство компенсировало до 90% расходов на детей бедным семьям через прямые выплаты компаниям и сервисам оказывающих услуги. Проверка выявила большое число фактов "обмана" со стороны получателей услуг, дискриминационного подхода в работе этой системы по причине национальности или двойного гражданства.

В результате 46 тысяч родителей были ошибочно обвинены в том что они злонамерянно запрашивали поддержку и получали её не имея на это право. Причем недавно выяснилось что на то чтобы разобраться с каждым случаем уйдет не менее 10 лет [4]. А тем временем многие оказались должны государству до десятков тысяч евро.

Статья заканчивается призывом к тому что контроль за ИИ - это важнейший фронтир для гражданского общества и внедрение новых технологий государством это не только большие возможности, но и большие опасности.

Ссылки:
[1] https://www.opendemocracy.net/en/digitaliberties/government-algorithms-are-out-control-and-ruin-lives/
[2] https://www.reuters.com/article/us-netherlands-politics-rutte-idUSKBN29K1NK
[3] https://autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/onderzoek_belastingdienst_kinderopvangtoeslag.pdf
[4] https://autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/onderzoek_belastingdienst_kinderopvangtoeslag.pdf

#ai #privacy

В Wired статья [1] о Search Atlas [2] исследовании и инструменте сравнения поисковой выдачи Google по множеству стран. Исследователи поискали по слову "бог" для разных стран и на разных языках и задокументировали разницу в выдаче. А журналисты Wired проверили ещё несколько тем. Вкратце - Google выдаёт разные результаты исходя из культурных предположений о жителях страны. Search Atlas пока работает в режиме private beta, но возможно авторы скоро откроют его для широкой публики.

Ссылки:
[1] https://www.wired.com/story/tool-shows-google-results-vary-world/
[2] https://searchatlas.org/

#privacy #search