Size: a a a

Открытые данные RU

2021 July 15

OP

Olya Parkhimovich in Открытые данные RU
Пришла пора раскрыть подробности по проекту, которым я и наша команда занимались полтора месяца. Вернее, готов он был ещё 2 года назад и поставлен на паузу, а за эти полтора месяца был приведен в полу-продуктовый вид.

DataCrafter (https://beta.apicrafter.ru/) — это каталог баз данных и коммерческих API. Большая часть данных в нем — открытые данные с возможностью работы без авторизации и скачивания их в виде архива с пакетом данных, а часть доступны только в режиме ограниченного доступа к API, после регистрации до 500 запросов в сутки.

Вот примеры некоторых баз данных:
- Базы архивных госконтрактов федерального бюджета с 2007 до 2013 года https://beta.apicrafter.ru/packages/reestrgk
- Поставщики по госконтрактам системы госзаказа Москвы https://beta.apicrafter.ru/packages/zakmossuppliers
- Единый реестр застройщиков https://beta.apicrafter.ru/packages/domrfdevelopers
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
а также многое другое.

Сейчас загружены 154 базы данных по юр. лицам и множество баз данных по другим направлениям. По каждой базе есть примеры данных и частично готова и далее в работе документация. В публичной версии частота обновления данных пока достаточно редкая, после завершения беты, большая часть данных будет обновляться ежесуточно/еженедельно, в соответствии с первоисточником. Многие данные доступны как открытые данные, в основном это данные не имеющие коммерческой ценности или же данные небольшого объёма.

До конца года будут добавлены ещё несколько сотен ключевых баз данных и появятся дополнительные специализированные API.

Также, обратите внимание, это не вполне стандартный каталог данных. У него есть важная особенность в том что таблицы связаны через уникальные идентификаторы (ИНН, ОГРН, КБК, кадастровый номер и многое другое). Эта классификация почти полностью автоматизирована и создана для автоматизации подготовки документации по каждому набору данных.

Протестировать можно по ключу или по открытым API не требующим ключа, например https://beta.apicrafter.ru/packages/massfounders и открытое API https://api.crftr.net/open/rawapi/v3/massfounders/massfounders

Подробная документация по ссылке - https://www.postman.com/infoculture/workspace/apicrafter-public/

Пример кода на Python для сбора данных о юридических лицах - https://github.com/apicrafter/apicrafter-example-orgprofile

Для получения ключа можно зарегистрироваться на сайте самостоятельно, по умолчанию ключ даёт возможность делать до 500 запросов в сутки. Будем благодарны за обратную связь по проекту от всех, кто им воспользуется.

Если у Вас некоммерческий проект, журналистское расследование или Вы работаете над научной статьей, во всех случаях некоммерческого использования данных, напишите нам на apicrafter@apicrafter.ru.

Больше подробностей будет в канале @apirafter в телеграм. Следите за новостями!
источник

A

A in Открытые данные RU
Ого, круто!
источник
2021 July 16

V

Viktor in Открытые данные RU
Всем привет!
Подскажите, а где-то есть информация о том, сколько менеджеров по продажам в РФ всего?
источник

AS

Anton Shevchenko in Открытые данные RU
В пенсионном фонде наверно)
источник

V

ViKi in Открытые данные RU
👍
источник

OP

Olya Parkhimovich in Открытые данные RU
напишите в Роструд, они очень открытые
источник

V

Viktor in Открытые данные RU
Ответили, что вопрос не в их компетенции.
Мы подсчитали различными путями и вывели число от 4.9М до 5.2М.
Вот хотелось бы каким-то образом убедиться в ней дополнительно
источник

N

Nadin in Открытые данные RU
Для начала нужен список критериев, под которыми понимается "менеджер по продажам"
источник
2021 July 20

МА

Мандариновый Абрикос... in Открытые данные RU
источник

AD

Andrey 📈 Dorozhnij... in Открытые данные RU
привет
источник

AD

Andrey 📈 Dorozhnij... in Открытые данные RU
а где скачать базу всех православных храмов россии?
источник

A

Arthur in Открытые данные RU
Когдато давно в первые исследования с викимапии брали и с церквей россии
источник

DA

Daniil Agniashvili in Открытые данные RU
источник

ВК

Владимир Каменев... in Открытые данные RU
Неплохая база. Но неполная, к сожалению
источник

AS

Alexey Smagin in Открытые данные RU
А в OSM плохо с этим?
источник

D

Dmitry in Открытые данные RU
Она мало того, что неполная, так ещё есть особенности (если будете делать точную статистику, то нужно учитывать некоторые моменты).

http://temples.ru/card.php?ID=5200
Формально эта была временная небольшая церковь, но рядом построили новую и теперь это просто церковная лавка.

http://temples.ru/card.php?ID=10400
Архитектором указан Шехтель Фёдор Осипович, если внимательно посмотреть, там есть приписка, что он делал только пределы, а саму церковь создали задолго до его рождения (церковь была построена примерно в 1678 году, а он родился в 1859, то есть понятно что он не может быть архитектором самой церкви).

И находил ещё неточности, но нужно искать. Если вам погрешность не очень важна (погрешность будет, требуется ручная обработка, и, в идеале, знание предмета). Всё зависит от того, для каких целей нужно.
источник

D

Dmitry in Открытые данные RU
Вот ещё пара ссылок (может пригодиться), но обращаю внимание, что и temples.ru, и эти не являются открытыми данными:
https://sobory.ru/geo/
http://www.patriarchia.ru/db/organizations/
источник

D

Dmitry in Открытые данные RU
А вот 5 наборов с портала открытых данных Москвы. Хорошие наборы, когда можно не парсить сайты а скачать готовый набор с минимумом информации. Грубых ошибок не находил, но это только для Москвы.
https://data.mos.ru/opendata?categoryId=321&IsActual=true
источник

D

Dmitry in Открытые данные RU
В общем, тема интересная, если будет ещё информация, то напишите.
источник
2021 July 21

JS

Jury Sergeev in Открытые данные RU
всем доброй ночи, не нашел данных по заражениям ковид в России, интересует динамика по регионам, но можно и по стране, не попадалось кому?
источник