МЕТОДОЛОГИЯ ОБЩЕСТВЕННОГО МОНИТОРИНГА ОЦЕНКИ
КАЧЕСТВА ОКАЗАНИЯ ГОСУДАРСТВЕННЫХ УСЛУГ
Цель общественного мониторинга
Целью проведения общественного мониторинга является определение
уровня удовлетворенности услугополучателей качеством, доступностью и
процедурами предоставления государственных услуг услугодателями, выявление
проблемных вопросов и выработка рекомендаций по повышению качества
оказания государственных услуг.
Задачи общественного мониторинга
Общественный мониторинг направлен на решение следующих основных
задач:
1) получение информации о качестве оказания государственных услуг по
основным критериям оценки;
2) выявление проблемных вопросов, в том числе административных и иных
барьеров при оказании государственных услуг;
3) выработка рекомендаций для улучшения процедур оказания
государственных услуг, в том числе по упрощению, оптимизации и
автоматизации процессов их предоставления.
Организация и проведение общественного мониторинга основывается на
соблюдении следующих ключевых принципов (рис.1):
Рис. 1. Принципы оценки качества государственных услуг
1) прозрачность - информация о способах сбора и обработки исходных
данных должна быть доступной в случае необходимости;
2) законность - нормативно-правовой статус исполнителя, наличие других
необходимых юридических правоустанавливающих документов (Договор,
Контракт, и т.д);
3) объективность - результаты мониторинга не должны приводить к искажению
информации о деятельности услугодателей;
4) всесторонность - использование различных количественных и качественных
методов сбора информации по качеству оказания государственных услуг;
5) достоверность - результаты мониторинга должны допускать возможность
проверки на точность;
6) беспристрастность - поставщик услуг по организации и проведению
общественного мониторинга является независимой неправительственной
ОБЩЕСТВЕННЫЙ
МОНИТОРИНГ
качества
оказания
государственных
услуг
Законность
Беспристрастность
Объективность Достоверность
Всесторонность
Прозрачность
7
организацией, и/или частным лицом, заинтересованными в предоставлении
объективных данных и соблюдении основных принципов проведения
общественного мониторинга.
Критерии отбора государственных услуг
Критерии, по которым оценивается качество оказания государственных
услуг:
1) информация и коммуникация
2) доступность и удобство
3) сотрудники
4) процедура
5) сроки
6) затраты
7) обратная связь
8) результат
В соответствии с технической спецификацией социологическое
исследование направлено на измерение количественными методами следующих
показателей, приведенных на схеме (рис.2), а также получение качественных
оценок для выработки рекомендаций по улучшению качества оказания
государственных услуг.
Рис. 2. Принципы оценки качества государственных услуг
ИНФОРМАЦИЯ
•Доля потребителей, удовлетворенных качеством и информацией о порядке преоставления
услуги; оценка актуальности и понятности информации о способах получения услуги;
понятность инструкций
ДОСТУПНОСТЬ
•Доля услугополучателей, удовлетворенных доступностью (в т.ч. физической) к зданию,
сервисам услугодателя, удобством и комфортностью при получении государственной услуги
•Доля услугополучателей, удовлетворенных доступностью портала
СОТРУДНИКИ
•Доля получателей государственной услуги, удовлетворенных работой персонала
услугодателя (для бумажных услуг)
ПРОЦЕДУРА
•Доля услугополучателей, удовлетворенных качеством процесса предоставления
государственной услуги
ЗАТРАТЫ
•Доля получателей государственной услуги, удовлетворенных уровнем понесенных затрат
ОБРАТНАЯ СВЯЗЬ
•Доля потребителей, удовлетворенных существующим порядком обжалования
РЕЗУЛЬТАТ
•Доля получателей государственной услуги, удовлетворенных результатом оказания услуги
8
В методологическом и методическом плане данное исследование
ориентировано на получение исходной информации непосредственно от самих
респондентов, представляющих те или иные достаточно обширные группы
населения страны.
В качестве поправочных коэффициентов, источников дополнительной
информации служат результаты опроса услугополучателей о коррупционной
составляющей процесса оказания государственной услуги, а также анализ фактов
нарушения стандартов и регламентов государственных услуг, поступивших жалоб.
Основные этапы общественного мониторинга
Проведению общественного мониторинга предшествует определение
общих контуров работ посредством разработки программы исследования и
решение вопросов его финансового и материально-технического обеспечения.
1 этап – подготовительный.
В рамках данного этапа формируется план и график исследования, с
указанием сроков проведения, рабочей/исследовательской группы, определяется
перечень государственных услуг для мониторинга и при необходимости вносятся
дополнения в методологию и/или инструментарий общественного мониторинга.
Проводятся кабинетные исследования, и определяется информация, которая
должна содержаться в итоговом аналитическом отчете.
Получение вторичной информации о государственной услуге, стандарте ее
оказания проводится путем свободного поиска в сети интернет, на официальном
сайте государственного органа, на портале «электронного правительства»,
информационно-правовой системе «Әділет», с фиксацией степени обновления и
актуальности информации.
2 этап – полевой.
Данный этап предусматривает сбор первичных социологических данных
посредством применения выбранных на первом этапе методов исследования в
рамках сформированной выборки.
Сбор информации посредством применения количественных и
качественных методов исследования. Среди них: массовый опрос
услугополучателей, методы «тайного покупателя», который также может включать
тестирование официальных call-центров (указанных на официальных сайтах
центральных государственных органов и местных исполнительных органов),
тестирование «Единого контакт-центра 1414», тестирование контактных
телефонов отделов, департаментов, управлений, ответственных за
государственные услуги (указанные на официальных сайтах); метод «глубинного
интервью» и фокус-групповые исследования для выявления проблемных
ситуаций по заданной теме.
После завершения полевых работ необходимо провести контроль поля,
который предполагает проверку полученных данных (не менее 15%). Также после
завершения всех работ заказчик может провести свой контроль поля по
предоставленным маршрутным листам.
Также на данном этапе предполагается обработка полученных данных по
результатам полевых работ в компьютерной программе для статистической
обработки данных и вывод линейных и корреляционных таблиц по заданным
параметрам в программе Excel.
3 этап – обработки и анализа результатов.
Данный этап завершающий, на котором проводится обработка, анализ,
обобщение полученных первичных и вторичных социологических данных, а также
подготовка практических рекомендаций.
9
Общественный мониторинг может проводиться, как разовое исследование
(определять текущий уровень качества оказания государственных услуг), так и
периодическое (замерять тенденции изменения удовлетворенности
услугополучателей во временном отрезке), то есть отражать динамику изучаемого
объекта исследования.
Методы осуществления общественного мониторинга
К основным (количественным) методам общественного мониторинга
относятся:
• массовый опрос
• онлайн анкетирование на портале «электронного правительства»
К дополнительным (качественным) методам общественного мониторинга
относятся:
• тайный покупатель
• глубинное интервью
• фокус-группы
• кабинетное исследование
Массовый опрос
Массовый опрос осуществляется офлайн и онлайн способами путем
анкетирования, форма которого установлена в приложении 2 к настоящей
Методологии и представляет собой метод получения первичной социологической
информации. В целях повышения возможностей получения первичной
социологической информации и обеспечения более объективных результатов
общественного мониторинга массовый опрос может быть проведен любым из
следующих способов: «на выходе» из места оказания услуг, по телефону (запись,
согласно спискам услугополучателей), «снежным комом», также рекомендуется
использовать как бумажные, так и электронные носители для заполнения
анкетного массива.
Итоги проведения анкетирования отражаются в отчете, в котором в
обязательном порядке отдельной графой отражается итоговая оценка по уровню
удовлетворенности качеством оказания государственной услуги.
Онлайн-анкетирование на портале электронного правительства
Опрос на портале электронного правительства осуществляется
посредством онлайн-анкеты. В случае наличия технических неполадок,
невозможности проведения опроса на портале «Электронного правительства»
допускается проведение дополнительного анкетирования услугополучателей в
онлайн-, офлайн- форматах.
Тайный покупатель
Метод «тайный покупатель» (или «Mystery Shopping») является одним из
результативных методов проверки качества оказания государственных услуг.
Данный метод применяется путем посещения «тайным покупателем»
услугодателя для проведения исследования о порядке оказания государственной
услуги, сбора необходимых документов и т.п.
В ходе метода «тайный покупатель» исследуется доступность и порядок
оказания государственной услуги, в том числе:
1) достоверность, полнота и актуальность получаемой информации от
сотрудников услугодателя;
10
2) соблюдение требований стандартов государственных услуг;
3) компетентность и соблюдение этических норм сотрудниками
услугодателя;
4) создание необходимых условий на месте оказания государственных
услуг, в том числе для лиц с ограниченными возможностями;
5) доступность информации о порядке получения государственной услуги;
6) работа оборудования и связи (компьютеры, терминалы, электронная
очередь, скорость интернета, электронные базы данных и др.);
7) дополнительные затраты на получение государственной услуги.
В рамках исследования методом «тайный покупатель» применяется
несколько подходов. Первый подход является классическим и заключается в том,
что «тайным покупателем» является интервьюер, который самостоятельно
проводит исследование.
Во втором подходе интервьюер производит поиск и потенциального
услугополучателя, которому необходимо получить исследуемую услугу, получает
устное согласие на проведение исследования методом «тайный покупатель». При
данном подходе интервьюер фиксирует процесс получения данной услуги от
начала и до конца в режиме реального времени с услугополучателем, в
соответствии с утвержденными опросными листами (согласно приложению 3 к
настоящей Методологии).
По каждой услуге может быть проведено от 1 до 3 тайных покупателей, в
зависимости от существующих форм оказания услуги: в электронном виде через
интернет-порталы, в бумажном виде в ЦОНе (государственном учреждении), в
электронном виде в зоне самообслуживания ЦОНа, а также по требованию
Заказчика.
По итогам применения данного метода составляется отчет о визите,
который содержит заполненную «тайным покупателем» форму «опросный лист» и
комментарии по процессу получения государственной услуги (см.Приложение3).
Итоговая оценка тайного покупателя по качеству оказания государственной
услуги выводится и отражается в отдельной таблице и не оказывает влияния на
итоговый рейтинг государственной услуги.
В итоговом отчете детально фиксируются все отклонения по качеству
предоставления государственной услуги, а также отражаются все рекомендации,
предложения и пожелания по улучшению качества предоставления
государственной услуги. К отчету прилагается фотоотчет визитов методом
«тайный покупатель».
Видеофиксация. Рекомендуется производить видеофиксацию при
возникновении нестандартных, конфликтных и иных ситуаций во время полевых
работ «тайного покупателя», как доказательная база для отчетности, а также
способствующая дальнейшей выработке рекомендаций по совершенствованию
работы услугодателя.
Глубинное интервью
Глубинное интервью проводится в целях получения мнений представителей
целевой аудитории, экспертов в данной отрасли со стороны получателей услуги
услугодателей.
Глубинное интервью применяется по проблемным услугам с обязательным
отражением позиций респондента по критериям качества, доступности и процедур
порядка оказания государственных услуг, а также конкретными предложениями по
совершенствованию данных показателей и услуги в целом. Рекомендованный
11
перечень вопросов для интервью установлен в приложении 4 к настоящей
Методологии.
Необходимо проводить аудиофиксацию во время проведения интервью с
информированного согласия респондента. По итогам проведения глубинного
интервью аудиозапись транскрибируется, данные, полученные в ходе интервью,
используются для дополнения, анализа данных, полученных в ходе массового
опроса. По итогам глубинных интервью оценка качества оказания услуги не
выставляется.
Фокус-группы
До применения данного метода необходимо провести предварительный
анализ изучаемой государственной услуги в рамках кабинетных исследований.
Для использования данного метода собирается группа из 6-12 человек с
целью обсуждения качества оказания государственной услуги. Необходимо
проводить видеофиксацию применения метода интервью.
Конечная цель проведения фокус-исследования – выявление проблем
оказания государственной услуги, причин и формулирование конкретных
предложений по улучшению порядка их оказания.
По итогам проведения необходимо сделать транскрипт фокус-группы. Итоги
фокус-групп используются для более детального анализа конкретных услуг.
По итогам фокус-исследования оценка качества не выставляется.
Кабинетные исследования
Кабинетное исследование (или deskresearch) – сбор, изучение,
систематизация и анализ вторичной социологической информации о сфере
оказания государственных услуг, полученной из доступных источников, т.е.
данных, определенным образом обработанных и содержащихся, в основном, в
официальных и иных печатных источниках: периодике, экономических изданиях,
статистических справочниках, внутри фирменных отчетах и т.д.
Данный формат исследования предполагает, не прибегая к «полевым
исследованиям», проводить работу по изучению, анализу и систематизации уже
имеющейся вторичной информации.
В соответствии с целями и задачами общественного мониторинга, в рамках
кабинетных исследований, рекомендуется:
1) изучить НПА по оказанию государственных услуг, подлежащих
мониторингу, в т.ч. стандарт оказания каждой услуги;
2) изучить отчеты по итогам проведения общественного мониторинга
предыдущих лет;
3) изучить официальную статистику услугодателя по основным параметрам
оказания услуг (количество оказанных услуг в мониторинговый период,
количество отказов, жалоб, долю услуг, оказанных в электронной и
бумажной форме и т.д.);
4) провести анализ отказов от получения/предоставления государственной
услуги;
5) проанализировать жалобы, предложения и комментарии
услугополучателей, направленных услугодателю официально и
неофициально (через социальные сети на блоги государственных
органов/чиновников и т.д.);
6) провести мониторинг СМИ (в т.ч. социальных медиа) по проблемным
вопросам, выявлению административных и иных барьеров, по услугам.
12
Оценка качества оказания государственных услуг
Оценка качества оказания услугодателями государственных услуг
производится по 5-балльной шкале:
«5» – «полностью удовлетворен», «полностью согласен», «отлично»
«4» – «скорее удовлетворен», «скорее согласен», «хорошо»
«3» – «скорее не удовлетворен», «скорее не согласен», «средне»
«2» – «неудовлетворен», «несогласен», «плохо»
«1» – «работа отсутствует», «очень плохо»
Интерпретация 5-ти балльной оценочной шкалы:
«5» баллов – «отлично», услуга оказана в срок без каких-либо нареканий,
издержек или барьеров
«4» балла – «хорошо», услуга оказана с небольшими нареканиями и/или
издержками, и/или присутствовали барьеры
«3» балла – «удовлетворительно», услуга оказана с рядом нареканий,
издержек, и барьеров
«2» балла – «неудовлетворительно», услуга была оказана с
многочисленными нарушениями, присутствовали коррупционные, либо иные
барьеры
«1» балл – «работа отсутствует» услуга не была оказана, в связи с
непреодолимыми барьерами, издержками
Расчет по 5-балльной системе оценки качества оказания
государственных услуг, формула расчета:
𝑄 =
n1 ∙ x1 + n2 ∙ x2 + n3 ∙ x3 + n4 ∙ x4 + n5 ∙ x5
N
где:
Q – уровень удовлетворенности качества оказания государственной услуги
X1– значение оценки «1»
X2 – оценка «2»
X3 – оценка «3»
X4 – оценка «4»
X5 – оценка «5»
n1…5 – количество респондентов, поставивших соответствующую оценку
N– общее количество опрошенных респондентов, поставившие по данному
критерию свои оценки (от 1 балла до 5 баллов).
Согласно данной формуле, оценочный балл качества оказанной
государственной услуги рассчитывается следующим способом. Количество
услугополучателей умножается на оценку в баллах, полученные произведения
суммируются, и полученная цифра делится на общее количество опрошенных.
Оценка качества оказания государственных услуг проводится по 8
основным критериям, которые подразделяются на подкритерии. Также при
распределении оценок учитывается форма получения услуги (бумажная и
электронная) и место получения государственной услуги (услугодатель фронтофис и услугодатель бэк-офис): государственный орган, НАО «Государственная
корпорация «Правительство для граждан».
13
Градация по зонам ответственности между уполномоченным
государственным органом и «Правительством для граждан»/услугодателем,
порталом электронного правительства
Для более точного распределения оценок и в дальнейшем баллов между
услугодателями в начале опроса услугополучателям задается ряд вопросов,
призванных точно определить, в какой форме (бумажной или электронной) и где
была получена услуга (куда обратились за получением государственной услуги –
госорган, Госкорпорация, либо иной фронт-офис), либо услуга была получена
самостоятельно, онлайн «не выходя из дома» на электронных ресурсах.
В дальнейшем в инструментарии опроса услугополучателям задаются
вопросы исходя из основных 8 критериев оценки качества оказания
государственных услуг. Каждый критерий оценки имеет подкритерии, которые в
дальнейшем относятся по зонам ответственности основных услугодателей.
При получении госуслуги через НАО «Госкорпорация «Правительство
для граждан»/услугодателя зоны ответственности разделены следующим
образом:
1. К ЦОНам отнесены такие подкритерии, как:
1.1. Клиентоориентрированность сотрудников (компетентность,
оперативность, вежливость);
1.2. Удобство расположения здания ЦОНов/услугодателя, наличие
парковочных мест, обеспечение безбарьерной среды для доступа в
здание (для людей с инвалидностью);
1.3. Удобство графика работы ЦОНов/услугодателя и комфортность зон
ожидания;
1.4. Наличие и простой поиск информации о порядке оказания услуги, в том
числе перечне необходимых документов;
1.5. Удобство ориентирования в здании ЦОНа/услугодателя (поиск
необходимых кабинетов, сотрудников);
1.6. Приемлемость времени ожидания в очереди на месте получения услуги;
1.7. Удобство способа оплаты за услугу (в случае если услуга платная);
1.8. Обеспечение возможности обращения на удобном языке.
2. К государственному органу отнесены такие подкритерии, как:
2.1. Простота процесса заполнения бланков, форм и других документов, а
также их наличие на двух языках;
2.2. Удобство процесса/приемлемость времени для сбора необходимых
документов;
2.3. Приемлемость сроков получения услуги для услугополучателей;
2.4. Удобство процедуры выдачи результата оказания услуги;
2.5. Приемлемость стоимости получения услуги (для платных услуг)
2.6. Простая и понятная процедура обжалования, а также удовлетворенность
мерами обжалования;
2.7. Удовлетворенность услугополучателя результатом оказанной услуги
(полученный документ, справка, пособие, разрешение, лицензия и т.д. не
содержали ошибок и др.)
При получении государственной услуги самостоятельно онлайн через
электронные ресурсы, такие как веб-портал «электронного правительства»,
зоны ответственности между услугодателями разделены следующим
образом:
14
1.К порталу «электронного правительства» отнесены такие подкритерии, как:
1.1. Простота и понятность информации о порядке оказания государственной
услуги и перечне необходимых документов;
1.2. Возможность выбора языка. Предоставление информации на казахском
и русском языках в полном объеме;
1.3. Простота регистрации на портале для получения онлайн услуг;
1.4. Удобство навигации на портале;
1.5. Скорость работы онлайн-площадки;
1.6. Простота, удобство загрузки документов на портал;
1.7. Работа виртуального ассистента, в том числе полнота и скорость ответа
на запрос;
1.8. Удобство способа оплаты услуги (в случае если услуга платная)
2.К государственному органу отнесены такие подкритерии, как:
2.1. Отсутствие излишней бюрократии при сборе документов необходимых
для получения услуги (сбор документов для получения электронной
услуги прошел без хождения по инстанциям и кабинетам);
2.2. Приемлемость срока оказания услуги для услугополучателей;
2.3. Приемлемость стоимости услуги (для платных услуг);
2.4. Качество обратной связи (полнота ответа на запрос и скорость ответа на
запрос).
2.5. Удовлетворенность услугополучателя результатом оказания услуги
(полученный документ, справка, пособие, разрешение, лицензия, и т.д.
не содержали ошибок и др.).
Формирование рейтингов государственных органов
Рейтинги государственных органов формируются исходя из распределения
баллов, которые отнесены к их зоне ответственности.
Рядом с рейтинговой шкалой в каждой таблице приведен уровень
удовлетворенности тем или иным параметром (процент тех, кто «полностью
удовлетворен» - 5 баллов) – пример 2. и данный показатель (%) может не
совпадать с рейтинговой шкалой:
Пример 1. Формирование рейтинга
15
Определение уровня удовлетворенности качеством оказания
государственных услуг
Уровень удовлетворенности качеством оказания государственных услуг
выводится из процента услугополучателей, которые выставили 5 баллов по
основным 8 критериям оценки услуги, т.е. % услугополучателей «полностью
удовлетворенные» качеством оказанной услуги.
Пример 2. Определение уровня удовлетворенности качеством оказания
государственных услуг
*Примечание. При расчете уровня удовлетворенности и выведении среднего баллаиспользуются оценки
только массового опроса.
16
1.1. Выборка социологического исслед