Открытые данные: инструкция по применению
Самое важное о работе с открытыми данными
Не знаете, что такое "открытые данные"?
Отвечаем на часто задаваемые вопросы:

Что это?
Это бесплатная информация, доступная всем желающим, не ограниченная патентами, авторским правом: статистика, координаты, перечни, реестры, базы данных.

Для кого эти данные?
Для тех, кто умеет в программирование, анализ, визуализации.

Качественные открытые данные позволяют использовать их без ручной обработки, регулярно обновляются.

Какая польза от таких данных?
Появляются полезные приложения и сервисы, развивается независимая журналистика.

Простой пример — «Яндекс-транспорт» использует в том числе и открытые данные для отображения движения транспорта на картах. Если открытых данных нет — горожане могут увидеть такую грустную картинку.

Другой пример, открытые данные госзакупок позволяют найти сложные коррупционные схемы или просто странные траты бюджета.

Сложно начать работать с данными?
Порог вхождения минимальный — умение работать с офисными таблицами, считать цифры, делать выводы.

Кроме того, можно попробовать бесплатные инструменты, например Infogram для простых наглядных графиков, Tableau Public для анализа и визуализаций.

Как государство связано с данными?

Государство — это основной источник данных. Ежегодно собираются огромные массивы информации. И происходит это за наш счет. Своими налогами мы фактически уже оплатили сбор и хранение информации.

Но до сих пор мы часто оплачиваем пошлину, чтобы получить выписку из какой-нибудь информационной системы. А государственная статистика подаётся в сжатом виде, по которой можно сделать только общие выводы.
Перед вами справочник по открытым данным от «Инфометра». Ниже можно ознакомиться с меню, чтобы выбрать нужную вам информацию.
Как запрашивать открытые данные
Не первый год отправляем запросы и обращения, а в этом году провели эксперимент — направили запросы открытых данных в госорганы. Делимся нашим опытом.
Глоссарий
Для тех, кто запутался или не знает, с чего начать
Что такое открытые данные?
Открытые данные (ОД) — это свободная лицензия + машиночитемость.
Свободная лицензия — можно использовать и распространять данные без ограничений.
Машиночитаемость — данные структурированы и размещены в форматах, не требующих от аналитиков и програмистов их ручной обработки.
Что такое набор данных?
Набор - структурированная информация по определенной тематике.
Например: перечень учреждений культуры с контактами, адресом и геоданными.
Или реестр лицензий на осуществление какой-либо деятельности.
Зачем нужны открытые данные?
Приложения и сервисы
Появление новых полезных программ - коммерческих и бесплатных.

Гражданский контроль и журналистика
Независимый анализ госданных.

Научные работы, исследования
Официальная государственная статистика.
Алгоритм
О способах запроса открытых данных и о том, что делать дальше
Запрос на сайте с ОД
Это форма обратной связи сайте с данными (или адрес электронной почты), где указано, что вы можете запросить нужные вам данные.

Преимущества:
— Ответственные за обращения через портал знают, что такое открытые данные, и могут пояснить владельцу данных, что именно вам нужно;
— Ответственные за обращения через портал знают, какие данные у них уже есть, и могут подсказать, если информация уже где-то размещена.

Недостатки:
— Обязанность ответа не закреплена законом;
— Ответственные за портал и владельцы данных — разные люди. Ваш вопрос, скорее всего, перенаправят владельцу данных.

Совет: Используйте этот способ как дополнение к запросу через официальную форму.
Запрос через форму обращений (ФЗ № 8 и № 59)
Это официальная форма обращения в госорган.

Преимущества:
По закону обязаны дать ответ по существу и срок до 30 дней.

Недостатки:
Вам могут дать ответ, не связанный непосредственно с открытыми данными.

Совет:
Средний срок ответа — 25 дней. Писать запросы нужно заранее. Если хакатон через неделю или уже завтра — лучше просить данные у организаторов и менторов, среди которых бывают и представители госорганов.


Через data.gov.ru
Федеральный портал — это посредник, который сам сделает запрос в госорган.

Преимущества:
— Достаточно только указать нужные данные, а напишут и отправят запрос за вас;
— Альтернативный вариант, когда вы не можете найти официальную форму обращения

Недостатки:
— Посредничество увеличивает время ожидания ответа;
— Согласно статистике на портале, большое количество запросов остались вовсе без ответа госорганов.

Совет:
Используйте этот способ, если никуда не торопитесь.



Как составить запрос?
— Поясните, что вас интересует именно открытые данные (свободная лицензия, машиночитаемость), а не простая информация на сайте «в свободном доступе»;
— Запрашивайте только важные для вас данные, все необязательные элементы структуры, которые можно добыть из других источников нужно опустить (шанс отказа из-за отсутствия полномочий);
-Не запрашивайте много наборов, старайтесь быть лаконичны и понятны. Практика показывает, что госорганы часто не отвечают на все поставленные вопросы. Запрос считается формально отвеченным даже если дан ответ на часть вопросов;
-Перед направлением запроса поищите на порталах и сайтах ОД наличие такого набора. Лицо, которое будет готовить ответ, не всегда знает о наличии уже опубликованных данных;
-Перед направлением запроса не лишним будет установить полномочия органа. Велика вероятность отказа в случае, если госорган не собирает такие сведения.



После отправления
— Важно убедиться, что ваш запрос не потерялся. Через пару дней позвоните и уточните, зарегестрирован ли он;
— Если прошло 30 дней и вас не уведомили о перенаправлении в другой орган — позвоните еще раз.
Если вы получили отказ
Работайте над повышением востребованности данных. Запросы от разных людей потенциально повышают шанс на публикацию данных.
Больше советов
Памятка по запросам открытых данных
Запрашивайте те данные, которыми располагает госорган
Взаимодействие между госорганами не налажено, а поэтому они не готов координировать сбор данных между собой по одному запросу.
Изучите перечни информационных систем, банков данных, реестров, регистров госоргана.
Формирование новых информационных систем для размещения данных по одному запросу маловероятно.
Укажите формат нужных вам данных, а также поясните, что такое открытые данные
До сих пор существует путаница между понятиями «открытые данные» и «информация в свободном доступе».
Поясните, что вы не просите секретные сведения или раскрытия персональных данные
Одной из причин отписок является указание, что запрашиваемая информация секретна или имеет частный характер.
Поясните, для чего могут понадобиться такие данные
Если вы дадите примеры применения таких данных, поясните их пользу, это будет плюсом.
Нужно отметить, если данные обязательны или рекомендованы к размещению
Государство склонно к формализму — «мы не обязаны». Если где-то написано противоположное, этим нужно пользоваться.
Не просите сразу и много, запрашивайте только важное
Чем больше вопросов/наборов, тем выше шанс получить неполный ответ.
Узнавайте по телефону о стадии вашего обращения, если вас не уведомляют через email
30% запросов остаются без ответов.
Дополнительно используйте форму или email для запроса на сайте данных
Такие запросы попадают к сотрудникам портала, которые иногда лучше владельцев данных знают, какие сведения уже размещены в виде открытых данных.
Рейтинги
Открытые данные в России размещаются уже не первый год, однако часто нужных данных не найти, либо их качество оставляет желать лучшего.

В 2018 году мы проверили, есть ли на сайтах с открытыми данными все необходимое для того, чтобы пользователь мог указать на ошибки, задать вопросы, запросить данные, найти контакты ответственных.

Так мы мотивировали публикаторов улучшать свои сайты и обратить внимание на связь с пользователями данных. А также собрали ссылки на самую полезную информацию и инструменты, которые нашли на сайтах с данными. Смотрите в разделе «Скачать».
Об исследовании:
Аудиты официальных сайтов и не только
Привлекли сообщество:
Пригласили 50 экспертов и пользователей данных, 10 из которых смогли принять участие и помочь нам в доработке подходов к оценке сайтов, дали комментарии и советы.
Оценили официальные сайты с открытыми данными:
Сначала сайты регионального уровня, а в ноябре расширили оценку и на федеральные органы.
Оценивали наличие инструментов для запроса данных, их исправления, контакты ответственных и другую информацию, полезную пользователям для связи с владельцами данных.
Бесплатно консультировали представителей госорганов:
Поясняли как, зачем, показывали примеры, отвечали на вопросы, мотивировали улучшать сайты с данными и размещать полезную информацию.
Протестировали регионы на практике
Посмотрели как региональные представители отвечают на запросы и реагируют на сообщения об ошибках.
Собрали полезные ссылки:
Доступны в разделе «скачать».
Сформировали рейтинги
Читайте далее.
О рейтингах:
Мы регулярно проводим бесплатные рейтинги, которые строятся на базе оценок официальных сайтов госорганов.
В чем наша мотивация:
Это полезно для развития открытости и открытых данных
В условиях, когда Открытое правительство было упразднено, рейтинги (соревнования) мотивируют госорганы, стимулируют отстающих продолжать работу. В то время как традиционных аутсайдеров наших рейтингов не волнует общественное мнение, публичные рейтинги для тех, кто хочеты быть на первых местах (или не хуже других) является отличной мотивацией.
Это не только альтруизм, но и способ привлечения клиентов.
Если представителям понравится, как мы ведем бесплатные аудиты, мы готовы сотрудничать на коммерческой основе. Это не означает преференций — все наши бесплатные аудиты доступны публично, и госорганы участвуют в них участвуют на равных условиях.
Что мы оценивали в рамках аудитов сайтов ОД в 2018 году:
Доступность данных
Наличие страницы/портала с данными, доступного с главной страницы сайта. Наличие реестра данных — для людей (визуальный формат) и для автоматической выгрузки информации о всех наборах (машиночитаемый формат).
Для регионов существует проблема разрозненности данных — много исполнительных органов, сложно найти данные. В таком случае учитывали наличие ссылок на источники на единой странице региона — на сайте или портале данных правительства региона.
ФИО и контакты ответственных
Наличие на странице каждого набора указание ФИО ответственного, email-а и телефона с кодом города. Также проверяли эту информацию в машиночитаемых паспортах.
Кроме того, оценивали информацию о лице, которое отвечает за данные министерства/ведомства (или отдельного региона) — ФИО, должность, контакты.
Запрос данных и комментирование наборов
Наличие способа для запроса данных на сайте ОД, а также публикацию ранее поступивших запросов с ответами на них.
Наличие возможности прокомментировать отдельный набор и получить ответ, публикация комментариев и ответов на странице набора.
Возможность обсудить данные
Рекомендовали представителям госорганов присутствовать в OpenDataRussiaChat (более 1000 экспертов и пользователей ОД), а также публиковать такую информацию на сайте (ник представителя, которому можно задать вопрос).
Возможность пройти опросы
Параметр мало влиял на общую оценку, но тем не менее полезен для тех госорганов, которые хотят получить ответы от пользователей по определенным вопросам.
Регламентация работы с сообщениями пользователей данных
Искали тексты и описания правил работы с сообщениями пользователей по вопросам ОД — порядок, сроки и т. п.
Результаты
Регионы
Для регионов мы провели два аудита.

Первый — публичный, с дистанционным консультированием, где каждый представитель может изменить свое место в рейтинге при выполнении рекомендаций. Такой соревновательный элемент очень стимулирует активных улучшать свои ресурсы и выполнять рекомендации — ведь в стартовом варианте не бывает госорганов со 100% выполнением рекомендаций, всегда есть что-то, что можно исправить или добавить.

Второй аудит мы провели уже после тестирования форм запросов и комментариев, без уведомления и консультирования.

В рейтинге мы указываем проценты выполнения рекомендаций в первом публичном аудите и во втором. Кликнув на название региона, можно перейти по ссылке и сравнить оценки.
Нажмите на название региона, чтобы увидеть список рекомендаций и таблицу оценок
Как можно видеть, никто не идеален — первых пять-шесть регионов можно назвать лидерами, у всех из них есть недочеты — где-то не опубликован тестовый комментарий, запрос или ответы на них, встречены ошибки при направлении запросов, другие мелочи.

Тем не менее, топы рейтингов Инфометра традиционно активны и готовы прислушиваться к рекомендациям, что уже неплохо.

Вы можете кликнуть на ссылку отдельного органа и сравнить первичные оценки и оценки после выполнения рекомендаций. Также публично доступны наши рекомендации в случаях, когда чего-то не хватило для получения 100%.
Федеральные органы
В ноябре-декабре мы провели публичный аудит для федеральных органов.

В отличии от регионов, мы не проверяли федеральные органы, поэтому это рейтинг по наличию (практическое тестирование проводилось в случаях, если было сомнение, что функционал работает).

Основная цель проводимого аудита — донести рекомендации по улучшению сайтов, обратить внимание на проблемы и неработающий функционал, стимулировать на размещение полезных сведений.
По результатам аудитов, мы собрали ссылки на найденную информацию. Найти ее вы можете в разделе «Скачать» или загрузить самостоятельно, скачав отдельный рейтинг в удобном для вас формате.
Города
Для городов в этом году мы провели отдельный аудит, не связанный с обратной связью. По результатам нашего прошлогоднего исследования, большинство городов публикует ОД с формальной целью - "чтобы было". Мы решили подготовили рекомендации для городов по публикации трех важных наборов, связанных с транспортом: проблема доступность к транспортным данным актуальная и пока централизованно в нашей стране ее решать никто не собирается.

Читайте результаты наших исследований:

Как обстоят дела в России

Интервью с представителем нового портала, который занял первое место в нашем муниципальном рейтинге открытых данных 2018
Скачать
Полезная информация из наших аудитов
Где запросить данные?
Скачать официальные формы для обращения в федеральные органы в формате xlsx или csv;

Скачать официальные формы для обращения в регионы в формате xlsx или csv;

Скачать формы запросов на сайтах с открытыми данными в формате xlsx или csv.
Представители госорганов в OpenDataRussiaChat (более 1000 экспертов и пользователей данных)
Скачать в формате xlsx или csv
Контакты уполномоченных/ответственных за открытые данные федерального министерства/ведомства или целого региона
Скачать в формате xlsx или csv
Регламенты обработки сообщений по вопросам ОД
Скачать в формате xlsx или csv
Где пройти опросы
Скачать в формате xlsx или csv
Если вы работаете с транспортными данными
То вам пригодится наш путеводитель по транспортным данным муниципалитетов (ссылки на машиночитаемую и немашиночитаемую информацию по результатам нашего летнего аудита транспортных ОД крупных городов).
Ответы госорганов на запросы нашего эксперимента
Доступны в архиве.
Материалы по теме
Пригодились наши знания? Поделись ими с друзьями!
Изображения: MabelAmber, geralt.
Иконки: icons8.com
Котик
© 2016-2019
Проектный центр «Инфометр»
Мы в Facebook
Канал в Telegram
Мы ВКонтакте
Disclaimer

контакты по вопросам партнерства:
info@infometer.org (812) 944-13-40
При использовании материалов сайта
гиперссылка на источник обязательна
Made on
Tilda