Сегодня, 31 мая, в Челябинске стартовала мастерская по дата-журналистике (https://ddjural.ru/).

В первый день обучения участники исследуют недра органов региональной статистики, поборятся с грязными датасетами в гугл-таблицах, соберут данные с сайтов с помощью инструментов веб-скрейпинга и начнут прорабатывать идеи собственных проектов.

Благодарим наших партнеров издательский дом «Гранада Пресс» и Информационный центр атомной энергии за помощь в организации мастерской в Челябинске.

Не могу не написать о выступлении по открытости Алексея Херсонцева (статс-секретаря и зам. министра экономического развития РФ). В вопросе нужно было отметить 10 ключевых действий (решений) по открытости, без которых мы сейчас жить не можем, но которые 10 лет назад казались нереальными:

- АИС Мониторинг госсайтов и рейтинги (за >10 лет работы в открытых данных не помню, чтобы кто-то когда-то ссылался на данные рейтинги. Методики не публикуются, рейтинги оценивают только то, что можно оценить автоматически, а оценки измеряются в миллионах баллов с десятками тысячных после запятой);

- Портал открытых данных, на котором опубликовано более 30 тыс. наборов данных (портал корректно не работал ни при запуске, ни после. Последние полтора года портал находится в нерабочем режиме, а количество датасетов на нем вот уже несколько месяцев держится на 20 тыс.);

- "Публикация деклараций, которые опубликованы в формате Excel, а значит фактически являются открытыми данными" (но открытые данные - это не просто машиночитаемые данные, у них много других свойств, например, - наличие лицензии. А Минэкономразвития, кстати, разрабатывало и публиковало Методические рекомендации по открытым данным);

- Портал Российской общественной инициативы (кто-то действительно считает его работающим?);

- Портал Ваш контроль, на котором граждане оценивают госуслуги (опять же, ни один человек не назвал его в контексте открытости ни на одной конференции).

К сожалению, не было сказано ни одного слова про:
- Портал Электронного бюджета, который является кладезью действительно открытых и машиночитаемых данных,
- Не было сказано про публикацию бюджетов на всех уровнях бюджета,
- Не включили и портал ГМУ (на котором публикуются данные бюджетных, автономных и казенных учреждений, и который является уникальным)
- Машиночитаемость данных Минкультуры тоже заслуживает отдельного пункта.

Отдельный лайк Екатерине Шульман за:
- поднятие проблемы о закрытии бюджетных данных в последние годы (правда, только в контексте объема закрытого бюджета, хотя есть и не менее серьезные проблемы с закрытием реестра субсидий и поставщиков по 223-ФЗ);
- озвучивание проблемы удаления деклараций, в т.ч. и за прошлые годы;
- озвучивание проблемы с порталом РОИ.

Впрочем, про открытые данные и порталы Минэкономразвития у меня запланирован отдельный пост.

К вопросу о том как сейчас в России обстоит дело с открытостью в целом и открытыми данными:
1. Всё ещё высокий уровень открытости административных данных (деятельность органов власти, базовая информация о лицензировании, выдаче разрешений и тд).
2. Больше открытых данных из государственных информационных систем, в первую очередь в виду роста числа информационных систем и их модернизации. Постепенный рост доступности данных об экономике (ФНС России и др)
3. Снижение открытости как политической ответственности: снижение объёмов раскрытия данных о декларациях чиновников, сокрытие данных о поставщиках по некоторым типам контрактам, сокрытие сведений о субсидиях
4. Снижение числа потребителей открытости: признание инагентами СМИ и НКО, снижение числа независимых СМИ, уголовные дела против журналистов расследователей. Что толку от доступности данных и даже того что госорганы могут ответить на запрос если никто не спросит и не использует?
5. Сохранение низкого уровня открытости всего что связано с качеством жизни, демографией, здравоохранением, правоохраной и образованием. Особенно на гиперлокальном уровне: город, район, муниципалитет.
6. Неработаюющие механизмы соучастия граждан и экспертов в нормотворчестве (игнорирование отзывов граждан по всем ключевым проектам законов и постановлений). Полный отказ от механизма со-написания законопроектов гражданами, ещё примерно 6 лет назад и без возвращения к этой практике.
7. Нефункциональная роль общественных советов при всех органах власти. Никто не может даже подсчитать расходы на их существование. Никто не решается сказать что, как обязательная конструкция, они не работают. А там где польза есть их можно заменить на консультативные органы, которые, ожидаемо, будут состоять из лоббистов.

Если резюмировать, то ситуация следующая.
С одной стороны данных много и вопреки многим другим трендам их становится больше, но... Ровно до тех пор пока кто-то из журналистов расследователей или иных заинтересованных сторон не вскрывают коррупцию или иные нарушения на основе этих данных. После чего именно эти данные закрывают или иным способом ограничивают.

Поэтому экономическая основа у открытости данных ещё есть, а вот политическая основа размывается. А общественная реакция идёт именно на политическую, а не на экономическую или административную открытость. А есть ли кто-то у нас в стране кто оценивает политическую открытость? Нет, таких нет.

#opendata #opengov

Для тех кто интересуется состоянием открытых данных в России, вот некоторые цифры:
- за 2020 год на федеральном портале открытых данных было опубликовано 223 набора данных, за 5 месяцев 2021 года - только 2 набора данных
- всего с 2020 года объём этих 225 наборов данных - 405 мегабайт из которых более 390 мегабайт - это данные Минкультуры России и ФНС России (и то есть подозрение что цифры завышены потому что в реестре наборов данных есть дублирующиеся записи. Скорее всего реально данных значительно меньше)
- лишь 9 178 наборов данных из 24 002 тысяч опубликованы федеральными органами власти, остальные региональными и муниципальными
- 10 ФОИВов не опубликовали ни одного нового набора данных с 2013 года (за 8 лет)
- 20 ФОИВов не опубликовали ни одного нового набора данных с 2015 года (за 6 лет)
- 42 ФОИВа не опубликовали ни одного нового набора данных с 2017 года (за 4 лет)
- 68 ФОИВов не опубликовали ни одного нового набора данных с 2015 года (за 2 лет)
- иначе говоря в 2020 и 2021 года лишь 6 ФОИВов разместили хотя бы один новый набор данных на портале открытых данных
- некоторые ФОИВы, при этом, кое что опубликовали на своих сайтах, но куда меньше чем раньше и чем могли бы
- общий объём опубликованных данных на портале data.gov.ru оценить сложно, сайт не даёт статистики, API сайта очень куцое, требуется очень много запросов сделать чтобы подсчитать хоть самые приблизительные цифры, но они будут невелики.
- параллельно этому на сайтах и FTP серверах органов власти опубликовано открытых данных примерно на 20 терабайт. Количественно - это сотни наборов данных, качественно - это данные большого объёма.
- безусловные лидеры по масштабам раскрытия данных - Минкультуры, ФНС России, Федеральное казначейство, Минфин России. Даже при том что тенденции там не только к раскрытию, текущие объёмы доступных данных очень велики.

#opendata #stats

Телеграм-канал Ивана Бегтина номинирован на премию CIPR DIGITAL!

До 13 июня идет открытое голосование. Поддержите телеграм-канал в номинации «Цифровые медиа»: https://award.cipr.ru//

Телеграм-канал Ивана Бегтина посвящён открытости государства, открытым данным, государственным финансам и особенностям госуправления. У канала 4800+ подписчиков. В нем регулярно публикуются обзоры происходящего в сфере данных в России и в мире.

Подведение итогов премии состоится на конференции ЦИПР, 23 июня 2021.

Открытые данные в России официально существуют уже 8 лет. Что изменилось за эти годы? Стала ситуация с открытостью лучше или хуже? Работают ли порталы открытых данных? Публикуются ли данные?

Опубликовали в блоге Инфокультуры на Хабре цифры и факты о текущем состоянии открытых данных в России, а также небольшой опрос о том, как вы оцениваете ситуацию.

Подробности: https://m.habr.com/ru/company/infoculture/blog/562076/

Managing Covid Funds: the Accountability Gap

Международное бюджетное партнерство (выпускающее Open Budget Index) опубликовало отчет о том, как Правительства 120 стран реагировали на COVID19 и какие меры бюджетно-налоговой политики принимали.

Исследование сосредоточено на трех важных направлениях подотчетности: доступ граждан к соответствующей информации, механизмы надзора и возможность вовлечения граждан.

С помощью исследователей из 120 стран было отобрано 400 политик (наборов политических инициатив, направленных на устранение последствий ЧС, связанных с COVID-19, в период с марта по сентябрь 2020 года), а затем самый крупный или самый важный документ был оценен с точки зрения прозрачности, надзора и участия.

Результаты исследования опубликованы в виде интерактивного сайта, отчета и данных по каждой стране: https://internationalbudget.org/covid/

Федеральная служба по финансовому мониторингу (Росфинмониторинг) заключила контракт на развитие ведомственной Единой информационной системы. Цена соглашения на 7 месяцев (до конца 2021 года) составила 163,3 млн рублей. Исполнителем в рамках соглашения выступает ООО «Институт проблем безопасности и анализа информации».

Содержание работ по большей части касается развития Комплексной системы информационной безопасности Росфинмониторинга. Часть по развитию компонентов ЕИС, согласно техзаданию, включает среди прочих задачи по автоматизации создания еженедельного отчета по новостям СМИ, по развитию функционала сайта Федеральной службы.

Среди целей развития системы: обеспечение сохранности и целевого использования бюджетных средств; участие в декриминализации и повышении прозрачности отраслей реального сектора экономики с учетом выявленных рисков,  снижение рисков финансирования терроризма.

Детали соглашения доступны на сайте нашего проекта: http://amp.gs/jIBAg

В последнее время реже пишу в канал поскольку был занят к подготовкой к нескольким мероприятиям.

Сегодня в 10 утра доклад на экспертной площадке "Государство как платформа", всё онлайн (происходит в Москве).

А далее с 13 часов по московскому времени (15 по местному) в течение 4 часов в Ханты-Мансийске на ИТ форуме Югра на Форсайт-сессии "Сохранение документально-исторического наследия в эпоху цифровой трансформации" где буду рассказывать про проекты в рамках Национального цифрового архива [1].

Трансляция должна быть на сайте форума [2].

Презентацию я обязательно опубликую онлайн чуть позже пока же скажу что веб-архивация в частности и цифровая архивация - это моё давнее хобби которое стало частью работы в @infoculture. У неё есть историко-культурное применение, но есть и практическое, когда вопрос стоит об архивации, например, порталов открытых данных и иных баз данных.

Ссылки:
[1] https://ruarxive.org
[2] https://itforum.admhmao.ru/2021/

#events #data #government #archives #webarchives

Команда Теплицы социальных технологий приглашает присоединиться к созданию технологических решений, игр и просветительских проектов на онлайн-хакатоне SSL: Safety & Security Lab.

Хакатон пройдет 25-27 июня 2021 года в онлайн-формате, его основная цель — помочь гражданскому обществу стать более защищенным в цифровой среде.

Организаторы приглашают к участию разработчиков, UX-дизайнеров, аналитиков, общественных активистов, независимых журналистов, блогеров, популяризаторов цифровых прав.

Подать заявки на участие можно до 22 июня. Число проектов ограничено. Подробности и регистрация 👉https://te-st.ru/events/hackathon-ssl/

Многие не понимают зачем читать Тафти BI-разработчику, что можно найти в книгах, которым скоро исполнится 30 лет, и как применить философские принципы Тафти на практике.

Алексей Новичков пригласил меня пообщаться на эту тему в третью серию нового онлайн шоу про визуализацию, журналистику данных и дизайн «Третий вторник». Шоу проходит в поддержку магистерской программы ВШЭ.

Обсудим чем же будут полезны эти книги, почему часто они не находят понимания в массах и как приземлить философию на утилитарную визуализацию.

Поэтому завтра я подниму эти четыре кирпичика с травы и поеду с ними в студию. =) А вы присоединяйтесь к прямому эфиру, который стартует в 19:30.

#выступление

К выходу книги Дэвида Хэнда «Тёмные данные. Практическое руководство по принятию правильных решений в мире недостающих данных», издательство «Альпина» опубликовало короткие интервью со специалистами, которые работают с данными каждый день.

Директор Инфокультуры, руководитель Ассоциации участников рынка данных Иван Бегтин рассказал о способах использования больших данных, об ошибках при их сборе и обработке и объяснил, как устроена регуляторная политика в отношении данных в разных странах.

Подробности: https://www.alpinabook.ru/blog/razbiraemsya-s-tyemnymi-dannymi-versiya-issledovatelya-dannykh/

На следующей и через неделю мы от Ассоциации участников рынка данных и Инфокультуры проводим две экспертные сессии о том как бизнес предоставляет данные НКО, исследователям и госорганам для решения социальных проблем (пандемии, катастрофы, преступность, экология, длительность жизни, бедность) и так далее. И как исследователи, НКО, государственные органы используют эти данные или могли бы использовать.

Состав уже довольно представительный и содержательный, будет речь о том как это происходит в мире, какую пользу приносит и какова мотивация всех участнков.

Ещё есть время в программе, поэтому если есть те готовы не просто послушать, а ещё и рассказать о своём опыте с любой из этих сторон, пишите мне на ibegtin@aurd.ru или в телеграм @ibegtin.  Нужны подробности: какую организацию представляете, ФИО и краткие тезисы на 10-15 минут.

Мероприятия пройдут 25-го и 29-го июня. Их результаты пойдут в разработку модели коммуникации бизнеса и исследователей, НКО и государства.

В течение года мы ещё вернёмся к этой теме на более широко, открыто, с большими панелями на больших конференциях, а сейчас это именно экспертные встречи на 2-3 часа.

Также предварительный анонс - от АУРД мы будем проводить серию мероприятий до конца года. По тематикам: - государственные данные в региональном/муниципальном разрезе
- персональные данные и рынок обмена
- открытые данные по отраслям/территориям
- доступ к государственным информационным системам

и ещё по ряду направлений.

Что-то будет только онлайн, что-то в гибридном формате.

Если у Вас есть предложения по мероприятиям, готовность выступить с интересной историей и тд. пишите мне также на ibegtin@aurd.ru

И напоминаю что АУРД - это ассоциация участников рынка данных, в ассоциацию входят представители бизнеса, НКО и университетов. Для некоммерческих организаций и университетов/образовательных организаций членство в ассоциации бесплатно, для бизнеса оно настолько велико что можно вступать без зазрения совести.

#data #opendata #events

Завтра, 22 июня, в 12:00 пройдет бесплатная онлайн-лекция «Открытые данные в государственном управлении», организованная учебным центром «Бюджет».

Ольга Пархимович, руководитель проекта «Госрасходы» СП РФ и общественного проекта «Госзатраты», расскажет:  

🔹 Что такое открытые данные? Основные определения и принципы
🔹 Какими НПА регулируется публикация открытых данных?
🔹 Примеры проектов, созданных на открытых данных
🔹 Какие открытые данные могут использоваться региональными и муниципальными госорганами?

Присоединяйтесь! Регистрация: https://webinar.budget-edu.ru/opendata

Всем, кто интересуется, как устроены современные веб-архивы, будет полезна презентация Ивана Бегтина. Крупнейшие проекты, основные веб-стратегии, стандарты и инструменты архивации, а также классические и современные проблемы в этой сфере — обо всем этом в презентации  https://www.beautiful.ai/player/-McI4bfED3MDU9iGX9Q3

А также хотим напомнить про наш проект — Национальный цифровой архив. Это проект по консервации и архивации ключевых цифровых ресурсов, находящихся под риском уничтожения.

Мы регулярную архивируем:
• официальные аккаунты в социальных сетях;
• официальные сайты органов власти, официальных лиц, политических партий;
• исторические данные — ключевые исторические документы и, особенно, базы данных.

На сегодня это уже около 20 ТБ данных в сжатом виде.

Подробности на сайте проекта: https://ruarxive.org/.

Присоединяйтесь к трансляции круглого стола «Экономика данных. Цифровое ускорение глобального сотрудничества», который проходит сегодня с 12:00 до 13:30 в рамках конференции ЦИПР.

Вопросы для обсуждения:
•  Государственное регулирование экономики данных в государствах-членах ЕАЭС и мире. Вызовы и пути гармонизации;
•  Формирование рынка данных;
•  Инфраструктура для цифровой экономики;
•  Сервисы и платформы экономики данных;
•  Новые направления бизнеса, основанные на данных.

Участники:
•  Игорь Дорофеев, Ассоциация ЦОД
•  Максим Шерейкин, АО «Почта России»
•  Олег Полетаев, Группа «Интерфакс»
•  Владимир Распопов, ГАУ НО «ЦИТ»
Модератор — Иван Бегтин, АНО «Инфокультура», Ассоциация участников рынка данных.

Трансляция: https://youtu.be/H3NFpg040Ek

7 июля в 15:00 проект «Госзатраты» @clearspending проводит экспертную сессию «Подходы к общественному контролю государственных и муниципальных закупок».

Аналитики и команда проекта представят на семинаре:
— концепцию модуля «Контроль» (направленного на повышение прозрачности системы госзакупок в России путем формирования, обнародования и развития базы закупок/контрактов, потенциально содержащих признаки недолжных приемов и практик);
— методику выявления контрактов для контроля (источники и объекты рисков, категории рисков).

Подробнее о мероприятии по ссылке: https://infoculture.timepad.ru/event/1687385/
Мероприятие экспертное — при регистрации необходимо указать, какую организацию вы представляете.

Приглашаем на вебинар «Открытые госфинансы 101: Поиск, анализ и качество данных», который пройдет 8 июля в рамках Летней школы по финансовым технологиям Томского Политеха.

Руководитель проекта «Госзатраты» @clearspending и проекта СПРФ «Госрасходы» Ольга Пархимович расскажет, что такое открытые данные, где публикуются финансовые данные, какие особенности данных нужно учитывать при их анализе (и структура, и качество).
⠀
Начало вебинара в 11:15 по московскому времени.
⠀
Участие бесплатное, подробности и регистрация: https://itr-tpu.timepad.ru/event/1629832/