Реферат: Оценка эффективности федеральных целевых программ опыт США

Проблемы информационной экономики. Вып. VII. Стратегия

инновационного развития российской экономики: Сб. науч. трудов / под ред. Р.М. Нижегородцева. М.: Книжный дом «ЛИБРОКОМ», 2008.

© Шувалов С.С.

ОЦЕНКА ЭФФЕКТИВНОСТИ ФЕДЕРАЛЬНЫХ ЦЕЛЕВЫХ ПРОГРАММ: ОПЫТ США

Бюджетирование, ориентированное на результат, как необходимое условие повышения эффективности бюджетных расходов

Совершенствование практики бюджетирования рассматривается во всем мире как необходимое условие повышения эффективности государственных расходов. Внедрение бюджетирования, ориентированного на результат, коренным образом меняет не только содержание всех стадий бюджетного процесса, но и всю концепцию управления государственными расходами.

В самом общем видебюджетирование, ориентированное на результат, определяется как метод бюджетного планирования, связывающий бюджетные расходы с ожидаемой отдачей от этих расходов, с их социально-экономической эффективностью.^[1]

Хотя в данном определении речь идет о бюджетном планировании, данный метод оказывает влияние на все стадии бюджетного процесса, вследствие чего программноцелевой характер принимают и исполнение бюджета, и контроль за его исполнением.^[2]

По сути, бюджетирование по результатам представляет собой практическое использование элементов менеджмента в государственном управлении.

На практике внедрение бюджетирования, ориентированного на результат, означает замену планирования расходов по видам расходов на планирование социальноэкономической результативности деятельности бюджетополучателей, переход от системы сметного финансирования к системе государственных заказов^[3] , которая распространяется не только на конечных бюджетополучателей, но и на ведомства – распорядителей бюджетных средств.

Внедрение и развитие бюджетирования, ориентированного на результат, представляет собой систематический пошаговый процесс, состоящий из следующих основных этапов:^[4]

• оценка имеющихся в наличии ресурсов и их использования;

• группировка государственных мероприятий по отраслям и программам;

• совершенствование системы бухгалтерского учета;

• разработка систем и процедур сбора и накопления необходимых данных и составления отчетов;

• идентификация целей и разработка стандартов предоставления государственных услуг;

• разработка системы измерения результативности;

• разработка системы измерения социально-экономической эффективности.

Опыт США в разработке бюджетов, ориентированных на результат: хронология и современное положение

Первые шаги по разработке и внедрению в практику государственного бюджетирования бюджетов, ориентированных на результат, были предприняты в США более полувека назад. Применительно к США можно выделить следующие этапы развития концепции и практики применения бюджетирования по результатам, на каждом из которых устанавливались особые процедуры, связывающие государственные расходы с ожидаемыми результатами:

1) Программно-целевой бюджет (Performance Budget), 1949–1962 годы;

2) Система «Планирование – программирование – бюджетирование» (Planning –

Programming – Budgeting System, PPBS), 1962–1971 годы;

3) Управление по целям (Management by Objectives, MBO), 1972–1975 годы;

4) Разработка бюджета на нулевой основе (Zero-Based Budgeting, ZBB), 1977–

1981 годы;

5) Закон «Об оценке результатов деятельности правительства» (Government Performance and Results Act, GPRA), 1993 год – н.в.

Именно на основе GPRA действует сегодняшняя американская система бюджетирования по результатам.

Закон определяет несколько целей, в соответствии с которыми должна строиться государственная бюджетная политика, среди которых:^[5]

• совершенствование процедур выработки программных целей, измерения социально-экономической эффективности реализации программ, совершенствование отчетности об их выполнении;

• повышение социально-экономической эффективности программ и усиление ответственности государственных органов за результаты их осуществления;

• повышение качества законодательных решений.

Вокруг этих целей строится вся система планов и отчетов, служащая для взаимоувязки ресурсов и результатов. В систему планов и отчетов входят следующие документы:

1) стратегический план на 5 лет,

2) годовой план работ,

3) отчет о выполнении годового плана работ.

Стратегический план

Согласно требованиям GPRA, каждое ведомство обязано разработать стратегический план как минимум на пять лет. Этот план должен включать в себя:

- формулировку главной цели (миссии), ради которой ведомство существует и работает,

- главные социально значимые цели на долгосрочный период,

- описание того, каким образом и с помощью каких ресурсов ведомство намерено достичь указанные социально значимые цели.

Стратегический план служит основой для определения целей на год и для измерения социально-экономической эффективности достигнутых результатов.

В процессе составления стратегических планов ведомства обязаны проводить консультации с законодателями, решения которых формируют государственную политику, представителями общественности, выражающими интересы потребителей государственных услуг, и другими заинтересованными лицами.

Стратегический план корректируется каждые три года.

План работы на год

В этот план входят целевые показатели объемов запланированных работ (предоставляемых услуг), социально-экономической эффективности каждого вида программной деятельности, зафиксированной в бюджете ведомства.

Назначение плана состоит в том, чтобы связать стратегические цели ведомства с повседневной деятельностью его сотрудников.

На базе годовых планов ведомств Административно-бюджетное управление составляет федеральный план работы на год, который передается в Конгресс вместе с проектом бюджета.

Ежегодный отчет о результатах деятельности

В соответствии с требованиями GPRA, каждое ведомство готовит отчет о результатах своей деятельности за предыдущий финансовый год, в котором должно содержаться сравнение достигутых показателей социально-экономической эффективности с запланированными.

В случаях когда фактические показатели не соответствуют запланированным и заявленные цели не достигнуты, ведомство обязано объяснить причины и определить график мероприятий, выполнение которых позволит выйти на запланированные показатели. Мероприятия, необходимые для достижения поставленных целей, могут заключаться в принятии новых законов,^[6] новых ведомственных инструкций, проведении организационных реформ и т. д.

Если же результаты отчетного периода свидетельствуют о том, что первоначально выбранные цели недостижимы, ведомства в своих отчетах обязаны объяснить, почему, и предложить новые формулировки.

И, наконец, в отчет должны быть включены основные выводы по оценке результатов исполнения программ за отчетный год.

Ответственность руководителей программ за достигнутые результаты предполагает, что руководители пользуются свободой выбора конкретных путей достижения этих результатов. Так, в соответствии с GPRA, руководители вправе перераспределять ресурсы между разными статьями расходов в рамках выделенной им сметы. Однако в своих ежегодных отчетах они обязаны перечислить все случаи такого перераспределения и показать, с какой эффективностью ими была использована «управленческая свобода».

Административно-бюджетное управление оценивает эффективность работы ведомств по реализации федеральных программ с помощью специально разработанного для этих целей инструмента рейтинговой оценки программ – PART (Program Assessment Rating Tool). PART помогает определить сильные и слабые стороны той или иной программы и является средством информационного обеспечения бюджетных и административных решений. Поскольку PART содержит последовательный ряд аналитических вопросов, он дает возможность наблюдать происходящие в программах улучшения и сопоставлять между собой сходные программы.^[7]

Концепция и ключевые моменты методики PART

PART нацелен не просто на оценку и констатацию существующего положения дел, а является одной из стадий более комплексного процесса – систематической разработки мер по повышению эффективности бюджетных расходов. Систематическая оценка и корректировка является неотъемлемой частью жизненного цикла любой федеральной целевой программы в США. Схематично это представлено на рис. 1 .

К оценке программ привлекаются, помимо сотрудников Административнобюджетного управления, представители федеральных ведомств, не занимающихся разработкой и реализацией соответствующих программ, а также независимые специалисты в области оценочной деятельности. В задачи одних экспертов входит разработка системы критериев оценки, в задачи других экспертов (респондентов) – собственно оценка программы по заданным критериям с обоснованием ее объективности.

Начиная обследование с применением PART, Административно-бюджетное управление и обследуемое ведомство должны определить единицу анализа, т. е. программу, для чего следует обратиться к формальной структуре федерального бюджета и/или бюджетов ведомств. Хотя в структуре бюджета не всегда содержится четкое определение всех программ, структура бюджета и связанные с ней документы являются исчерпывающими и легко доступными в качестве перечня программ ведомства.

Рисунок 1

Место оценки эффективности федеральной целевой программы США в ее жизненном цикле

Использование бюджетной структуры целесообразно еще и потому, что бюджетные документы используются, чтобы наглядным образом довести результаты PART до сведения всех заинтересованных сторон, включая органы исполнительной и законодательной власти и общественность. По согласованию между Административнобюджетным управлением и обследуемым ведомством программы, отобранные для оценки с применением PART, могут определяться как агрегации видов программной деятельности в бюджетных отчетах или других формах представления бюджета представителям исполнительной и законодательной власти.

Оценка программы по методике PART предполагает выполнение следующих основных шагов:

1. Подготовительный этап

1.1. Концептуализация программы

1.2. Проработка концепции оценки программы с учетом ее особенностей

1.3. Разработка системы вопросов

2. Заключительный этап

2.1. Сбор данных, фактов, подтверждающих объективность ответов на заданные вопросы

2.2. Анализ данных, фактов, подготовка предварительного заключения об эффективности программы

2.3. Подготовка окончательного заключения об эффективности программы, выработка рекомендаций по усовершенствованию программы

Концептуализация программы представляет собой построение логической модели, иллюстрирующей причинно-следственные связи между элементами программы, определяющие успех ее реализации. Принципиальная логическая модель концептуализации программ, используемая Административно-бюджетным управлением, представлена на рис. 2 .

Рисунок 2 Модель концептуализации федеральных целевых программ, используемая Административно-

бюджетным управлением при Президенте США

Как отмечалось выше, структура федерального бюджета США позволяет выделять и оценивать различные единицы анализа – деятельность ведомства, совокупность программ, отдельные программы и подпрограммы.

Для оценки все программы подразделяются на семь категорий, чтобы можно было включать дополнительные вопросы, специфические для каждого типа программ. Для каждого типа программ существует свой вариант PART. Большинство федеральных программ укладываются в одну из этих категорий. Бывают случаи, когда для более информативной оценки целесообразно заимствовать некоторые вопросы из другого варианта PART. При этом за основу берется тот тип PART, который наиболее полно отражает основные функции программы, и дополняется вопросами, выбранными из другого варианта.

При этом, говоря о научно-исследовательских программах, необходимо отметить, что в США различают оценку эффективности программы (которая производится с помощью PART) и оценку результатов исследований. Оценка результатов исследований осуществляется методом экспертного анализа с использованием трех критериев – качества, значимости и лидерства. К оценке результатов исследований методом экспертного анализа привлекаются представители промышленных кругов, неправительственных организаций и федеральных ведомств – потребителей результатов исследований, способных оценить значимость исследований для достижения собственных целей.

Критерии и процедуры оценки по методике PART

PART представляет собой анкету, состоящую из серии вопросов для оценки различных аспектов реализации программ. Каждый PART включает в себя четыре раздела, каждый из которых имеет определенный удельный вес в итоговой оценке программы:

1) Цели и конструкция программы (Program Purpose and Design) – 20%,

2) Качество планирования (Planning) – 10%,

3) Качество управления программой (Management) – 20%, 4) Достигнутые результаты (Results) – 50%.

Итоговая оценка программы складывается из суммы оценок по каждому из названных разделов с учетом их удельного веса.

Каждый раздел включает определенное количество вопросов. По умолчанию каждому вопросу внутри раздела присваиваются равные удельные веса, сумма которых составляет 100% для каждого раздела. Однако по просьбе респондента, если он сумеет доказать целесообразность этого, процентное соотношение вопросов может быть изменено, с тем чтобы подчеркнуть ключевые факторы программы. Чтобы избежать нарушения общей суммы, удельные веса должны быть сбалансированы до того, как респондент приступил к ответу на вопросы.

Ответы на вопросы разделов 1) – 3) даются в формате «Да»/«Нет». В разделе 4 применяется более сложная – четырехуровневая – градация ответов: «Да», «В большой степени», «В малой степени», «Нет», что позволяет отразить частично достигнутые цели программы. В некоторых случаях, если вопрос неприменим к данной программе, респондент может дать ответ «Неприменимо».

Таким образом, оценка ответов на вопросы первых трех разделов может принять одно из двух значений: «Да» (максимальная оценка, равная удельному весу вопроса) или «Нет» (минимальная оценка, равная нулю). Используется своего рода двоичная система: при положительном ответе (1) оценка равна: 1×ω = ω , при отрицательном ответе (0) оценка равна: 0×ω = 0 , где ω – удельный вес вопроса.

При оценке вопросов четвертого раздела респондент выставляет балльную оценку в диапазоне от 0 («Нет») до 1 («Да»). При этом если балльная оценка равна или превышает 0,5, это равносильно ответу «В большой степени», если же балльная оценка ниже 0,5, это равносильно ответу «В малой степени». Оценка ответов на вопросы четвертого раздела рассчитывается как произведение балльной оценки респондента (находящейся в диапазоне от 0 до 1) на удельный вес вопроса.

Таким образом, можно вывести общую формулу итоговой рейтинговой оценки программы:

 ^k   ^l   ^m   ⁿ 

R  0,2 _ r_i ω_i _  0,1 _ r_i ω_i _  0,2 _ r_i ω_{i } 0,5 _ r_i ω_i _ ,

 i 1   i 1   i 1   i 1 

где k, l, m, n – количество вопросов в соответствующем разделе,

r – балльная оценка ответа на вопрос,

ω – удельный вес вопроса внутри соответствующего раздела,

j

ω_i 1 при j = k, l, m, n .

i 1

Числовое значение итоговой рейтинговой оценки переводится в качественную оценку – «Эффективно», «Умеренно эффективно», «Адекватно», «Неэффективно» и «Результаты не проявлены».

Программа считается эффективной, если ее численная оценка находится в диапазоне 85 – 100 баллов, умеренно эффективной – 70 – 84 балла, адекватной – 50 – 69 баллов, неэффективной – 0 – 49 баллов. Если утвержденная методика оценки не выявляет результаты финансируемой программы, то балльная оценка программы отсутствует, и она получает статус программы, не проявившей результатов.

Выставляя оценку по каждому вопросу, респондент разъясняет свою позицию (explanation) и приводит данные и факты, подтверждающие его позицию (evidence). В качестве доводов, обосновывающих позицию респондента, могут быть приведены, например, статистические данные или аналитические материалы, предоставленные третьей стороной, т. е. подготовленные не самим респондентом или ведомством, чья программа подвергается оценке.

Как отмечалось выше, формулировка отдельных вопросов и их удельные веса могут изменяться в зависимости от типа программы и ее конкретных особенностей. Вместе с тем, многие принципиальные вопросы остаются неизменными. В связи с этим, имеет смысл рассмотреть конкретный пример анкеты. В качестве примера (см. табл. 1) приведем вопросы, использованные для оценки программы в области нанотехнологий (Nanoscale Science and Engineering Research).

Таблица 1

Вопросы, использованные для оценки программы

Nanoscale Science and Engineering Research по методике PART

Источник: http://www.whitehouse.gov/omb/expectmore/detail/10001147.2003.html .

Отметим, что программная реализация и использование методики PART основаны на веб-технологиях. Описание новых федеральных программ и заполнение форм с ответами на соответствующие вопросы осуществляется в электронной форме на едином федеральном портале https://max.omb.gov/maxportal.

Результаты оценки федеральных целевых программ США по методике PART в 2007 году

По данным Административно-бюджетного управления, программная часть федерального бюджета США на 2007 год содержит 977 программ.^[8] Каждая из этих программ была подвергнута оценке с применением рассмотренной выше методики.

Оценка программ дала следующие результаты:

• 166 программ (около 17%) признаны эффективными ,

• 299 программ (около 31 %) признаны умеренно эффективными ,

• 277 программ (около 28%) признаны адекватными ,

• 27 программ (около 3%) признаны неэффективными ,

• 208 программ (около 21%) признаны не проявившими результатов .

Заметим, что попадание программы в категорию неэффективной или не проявившей результатов ставит вопрос о целесообразности продолжения ее реализации, но не означает автоматическое прекращение ее финансирования. Если результаты оценки программы свидетельствуют о том, что она подлежит усовершенствованию, то программа принимается к финансированию на очередной финансовый год в объеме, который определяется с учетом ее реорганизации. Если же результаты оценки говорят о том, что программа в ее нынешнем виде не может быть улучшена, принимается решение о прекращении ее финансирования. Так, на 2008 год не предусмотрено финансирование 34 из 208 программ, признанных в текущем году не проявившими результатов, и 9 из 27 программ, признанных в текущем году неэффективными. Если же в результате анализа причин неэффективности программы экспертами будет установлено, что основной причиной явился недостаток финансирования, то программа может быть продолжена, а ее финансирование увеличено.

Выше отмечалось, что в целях оценки программы разбиваются на 7 категорий. В отдельную категорию выделяются, в частности, научно-исследовательские программы (R&D Programs). Из 977 программ, реализуемых в текущем году, 127 отнесены к научноисследовательским. Следует отметить, что многие программы, не отнесенные к научноисследовательским, также содержат в качестве одного из мероприятий исследования и разработки. Особенность научно-исследовательских программ состоит в том, что в этих программах исследования и разработки или поддержка и развитие этой сферы выступают в качестве одного из основных программных мероприятий.

Среди ведомств, лидирующих по числу реализуемых научно-исследовательских программ следует выделить Агентство по охране окружающей среды (реализует 53 научно-исследовательских программы), Управление служб общего назначения (15), Управление программ международного содействия (15), Национальный научный фонд

(13), НАСА (11).^[9]

Оценка научно-исследовательских программ по методике PART дала следующие результаты:

• 22 программы (около 17%) признаны эффективными ,

• 40 программ (около 31%) признаны умеренно эффективными ,

• 54 программы (около 42%) признаны адекватными ,

• 3 программы (около 2%) признаны неэффективными ,

• 8 программ (около 6%) признаны не проявившими результатов .

Интересно проанализировать и распределение оценки эффективности научноисследовательских программ по наиболее крупным ведомствам.

Наиболее эффективным с этой точки зрения ведомством выступает Национальный научный фонд – все реализуемые им программы признаны эффективными.

Из 11 научно-исследовательских программ, реализуемых НАСА, 2 признаны эффективными, 5 – умеренно эффективными, 4 – адекватными.

Хуже обстоят дела в Агентстве по охране окружающей среды: из 53 реализуемых этим ведомством научно-исследовательских программ ни одна не была признана эффективной, большинство – 35 программ – признаны адекватными, 12 – умеренно эффективными, неэффективными и не проявившими результатов были признаны по 3 программы.

Говоря о федеральных программах в США следует отметить, что программы, нацеленные на поддержку и развитие инновационного и наукоемкого бизнеса, а также на стимулирование исследований и разработок в корпоративном секторе, как правило, не относятся по формальным признакам к научно-исследовательским. Чаще эти программы попадают в категорию программ выделения грантов на конкурсной основе (Competitive Grant Programs). В частности, в эту категорию попадают две хорошо известные программы, реализуемые Департаментом торговли: ATP (Advanced Technology Program) и SBIR (Small Business Innovation Research).

Основной целью программы ATP провозглашается поддержка разработки и коммерциализации высокорисковых технологий в частном секторе экономики посредством использования механизмов государственно-частного партнерства.

Эффективность программы оценивается по методике PART как адекватная. В то же время независимые оценка и анализ программы показали, что сама по себе необходимость этой программы вызывает сомнение. Приведем цитату из резюме по результатам оценки: «Существуют иные источники финансирования высокорисковых технологий, в частности венчурный капитал и другие ресурсы частного сектора.

Убедительные доказательства того, что программа оказывает исключительное или существенное влияние на соответствующие процессы, отсутствуют». Основной вывод экспертов заключается в нецелесообразности продолжения реализации программы.

Программа SBIR нацелена на поддержку исследований и разработок малого бизнеса посредством предоставления грантов или заключения контрактов на конкурсной основе.

В настоящее время реализация программы приостановлена, так как она признана не проявившей результатов. Основной вывод экспертов состоит в необходимости разработки системы критериев, которые позволили бы объективно оценивать достижение заявленных целей. Разработку критериев рекомендуется проводить в тесном взаимодействии с Администрацией по малому бизнесу. В то же время качество управления программой получило высокую оценку со стороны экспертов, в частности была признана высокая транспарентность конкурсного распределения грантов и контрактов.

***

Опыт США свидетельствует о том, что объективная оценка эффективности бюджетных расходов и, в частности, федеральных целевых программ, сопряжена со значительными трудностями и требует системного подхода. Учитывая разнообразие функций и областей деятельности правительства в современных социально ориентированных государствах со смешанной экономикой, невозможно разработать универсальную систему показателей (индикаторов), с помощью которой было бы возможно адекватно оценить эффективность реализации программ. Каждое направление деятельности правительства, каждая программа требуют учета их особенностей. С другой стороны, концепция оценки программ должна быть единой, в противном случае результаты оценки эффективности отдельных программ или деятельности отдельных ведомств будут несопоставимы.

Важным обстоятельством является тот факт, что при оценке программ в США четко разграничиваются четыре аспекта оценки, оценка качества разработки программы не смешивается с оценкой качества ее реализации. Так, управление программами ATP и SBIR было признано добросовестным и получило высокую оценку экспертов, а скромная эффективность их реализации была признана следствием низкого качества их разработки. Возможно, налогоплательщикам и бенефициарам программы, по большому счету, безразлично, почему эффективность ее реализации оказалась низкой, для них важен успех реализации программы, а не объяснение причин неудачи. Однако рассмотренный подход, несомненно, позволяет более объективно оценивать деятельность ведомств и отдельных должностных лиц, что важно для повышения эффективности бюджетных расходов и, говоря более широко, для повышения качества государственного управления.

Американский опыт говорит и о том, что систематическая, периодическая оценка эффективности реализации программ является важной частью их жизненного цикла. Именно результаты оценки программы, заключения и рекомендации экспертов во многом определяют, будет ли программа реализоваться дальше в существующем виде, будет ли она реализовываться в измененном виде, либо ее реализация будет прекращена.

Опыт Административно-бюджетного управления при Президенте США в части оценки эффективности реализации федеральных целевых программ по методике PART, на наш взгляд, может представлять интерес и для современной России.

ИСТОЧНИКИ ИНФОРМАЦИИ:

1. Government Performance and Results Act (GPRA) of 1993 (текст документа с официального сайта Административно-бюджетного управления при Президенте США).

2. Бретшнайдер А., Ройтерсвэрд В. Бюджетирование по результатам: основные концепции и процедуры // Tacis Project Output 2.11 Rus, 2002.

3. Бюджетирование, ориентированное на результат: международный опыт и возможности внедрения в России. М.: Academia, 2002.

4. Материалы официального сайта Административно-бюджетного управления при Президенте США: http://www.whitehouse.gov/omb.

Сведения об авторе: Шувалов Сергей Сергеевич, с.н.с. Центра исследований и статистики науки (ЦИСН).

[1] Часто в литературе используются синонимы понятия бюджетирование, ориентированное на результат – термины бюджетирование по результатам и программно-целевое бюджетирование .

[2] Бюджетирование, ориентированное на результат: международный опыт и возможности внедрения в России. М.: Academia, 2002. С. 7.

[3] В данном случае речь идет не о государственных заказах на товары, работы, услуги в их российском понимании, а о заказах на реализацию программ, выполнение мероприятий и т.д. с определенными ожидаемыми социально-экономическими и иными результатами.

[4] Бретшнайдер А., Ройтерсвэрд В. Бюджетирование по результатам: основные концепции и процедуры // Tacis Project Output 2.11 Rus, 2002. С. 3.

[5] Government Performance and Results Act of 1993.

[6] Ведомство вправе выступить с законодательной инициативой, хотя исход инициативы ведомству не подконтролен. Если законодатели отвергают инициативу, предложенную ведомством, возникает повод еще раз вернуться к согласованию целей государственной политики.

[7] Здесь и далее использованы материалы официального сайта Административно-бюджетного управления при президенте США: http://www.whitehouse.gov/omb .

[8] Как отмечалось выше, структура федерального бюджета США позволяет по-разному выбирать единицу анализа, поэтому данные из других источников, могут отличаться от приведенных в данной работе. Кроме того, программы, реализуемые несколькими ведомствами совместно (а в США это весьма распространенная практика) при оценке по методике PART нередко разбиваются на подпрограммы, для того чтобы можно было определить конкретное ведомство, ответственное за реализацию отдельной подпрограммы и оценить эффективность именно его деятельности.

[9] В данном случае речь идет именно о количестве программ, а не об их стоимости.