INSPECTION GENERALE INSPECTION GENERALE INSPECTION GENERALE

DE L’ADMINISTRATION DES FINANCES DES AFFAIRES SOCIALES

N° RM 12-110/12-107/01 N° 2012- M- 097-01 N° RM 2012-152P

CADRAGE METHODOLOGIQUE
DE L’EVALUATION DES POLITIQUES
PUBLIQUES PARTENARIALES
Guide

Etabli par
IGA IGF IGAS

Jean-Pierre Marianne Martine Nathalie

BATTESTI BONDAZ MARIGEAUD DESTAIS

- Décembre 2012 -
 SOMMAIRE

1 LA DEMARCHE D’EVALUATION : FINALITES ET ECUEILS .................................... 2

2 QUI FAIT QUOI ? ................................................................................................................... 5

2.1 LES RESPONSABILITES DE PILOTAGE............................................................................................ 5
2.1.1 La coordination et la cohérence d’ensemble des évaluations de politiques publiques .......... 5
2.1.2 Les structures de pilotage propres à chaque politique publique ........................................... 6
2.2 L’ASSOCIATION DES PARTIES PRENANTES A L’EVALUATION...................................................... 12
2.2.1 Les acteurs ........................................................................................................................... 13
2.2.2 Les bénéficiaires .................................................................................................................. 14
2.2.3 Les modalités d’association ................................................................................................. 15
2.3 LA PLACE DU PARLEMENT......................................................................................................... 17

3 LES ETAPES DE L’EVALUATION.................................................................................... 19

3.1 ETAPE 1 : ORGANISATION ADMINISTRATIVE ET DEFINITION DE LA COMMANDE ........................ 19
3.1.1 Objectifs ............................................................................................................................... 19
3.1.2 Modalités ............................................................................................................................. 20
3.1.3 Livrables .............................................................................................................................. 21
3.2 ETAPE 2 : ELABORATION DU DIAGNOSTIC .................................................................................. 23
3.2.1 Objectifs ............................................................................................................................... 23
3.2.2 Modalités ............................................................................................................................. 23
3.2.3 Livrables .............................................................................................................................. 25
3.2.4 Clôture de la phase de diagnostic ........................................................................................ 26
3.3 ETAPE 3 : CADRAGE DES HYPOTHESES DE SCENARIOS A APPROFONDIR ..................................... 27
3.3.1 Objectifs ............................................................................................................................... 27
3.3.2 Modalités ............................................................................................................................. 27
3.3.3 Livrables .............................................................................................................................. 27
3.4 ETAPE 4 : APPROFONDISSEMENT ET APPRECIATION DES SCENARIOS ......................................... 28
3.4.1 Objectifs ............................................................................................................................... 28
3.4.2 Modalités ............................................................................................................................. 28
3.4.3 Livrables .............................................................................................................................. 29
3.4.4 Clôture de la phase de d’approfondissement des scénarios ................................................ 29
3.5 ETAPE 5 : DECISION .................................................................................................................. 30
3.5.1 Objectif ................................................................................................................................ 30
3.5.2 Modalités ............................................................................................................................. 30

4 LA COMMUNICATION PENDANT LA DEMARCHE ................................................... 31

FICHES TECHNIQUES .................................................................................................................................... 33

FICHE N° 1. ENSEIGNEMENTS DE TRAVAUX APPARENTES A UNE EVALUATION DE POLITIQUES PUBLIQUES
........................................................................................................................................... 35
FICHE N° 2. PILOTAGE D’EVALUATIONS DE POLITIQUES PUBLIQUES : QUELQUES ILLUSTRATIONS ........ 40
FICHE N° 3. MODALITES D’ASSOCIATION DES PARTIES PRENANTES ...................................................... 47
FICHE N° 4. « QUI FAIT QUOI ? » : RECAPITULATIF PAR ETAPE .............................................................. 51
FICHE N° 5. GLOSSAIRE ......................................................................................................................... 53
 Le séminaire gouvernemental du 1er octobre 2012 relatif à la modernisation de l’action
publique a décidé d’engager « un travail d’évaluation des politiques publiques partenariales
avec l’ensemble des acteurs concernés (Etat, collectivités, organismes sociaux et opérateurs)
pour construire une vision collective des enjeux, des finalités et des modalités de mise en
œuvre de chaque politique publique ».

Le présent guide a pour objectif d’expliciter ce qui est attendu des acteurs de
l’évaluation et de fournir les principaux éléments de la démarche de modernisation de l’action
publique demandée aux administrations. Il fournit un cadre méthodologique commun,
indispensable à la bonne coordination du processus, mais prône souplesse et pragmatisme
dans les pratiques de concertation et d’examen des scénarios de réforme en fonction des
politiques, de leur contexte et de leurs acteurs.

Ce document ne suit pas exactement le modèle d’une évaluation tel que le promeut par
exemple la Société française d’évaluation, car il serait trop complexe, trop consommateur de
ressources humaines et supposerait une durée beaucoup plus longue que ce qui est
envisageable dans le cadre de la modernisation de l’action publique. Ce guide s’inspire en
revanche des exemples de travaux conduits par diverses collectivités publiques (cf. fiche n° 1)
mais aussi des bonnes pratiques de la conduite de projet, en adaptant ces enseignements.

1
1 La démarche d’évaluation : finalités et écueils

L’évaluation de politique publique partenariale a deux finalités :

- établir une vision partagée d’une politique (ce qui ne signifie pas nécessairement un
consensus) et apprécier son efficacité sur la base de critères explicites, portant sur ses
objectifs, ses logiques d’intervention et ses instruments ainsi que sur les effets produits,
voulus ou non ;
- redéfinir cette politique pour construire, autant que possible, une vision collective pour
l’avenir et exprimer des priorités, une cohérence entre moyens et objectifs ainsi que les
conditions de son efficacité.
Elle passe notamment par une hiérarchisation claire des priorités assignées à
cette politique et de ses instruments.
La démarche est fondamentalement partenariale. Aujourd’hui en effet, la plupart
des politiques publiques, décentralisées ou non, se caractérisent par l’intervention d’une
multiplicité d’acteurs : services de l’Etat et leurs opérateurs, collectivités territoriales comme
les organismes sanitaires et sociaux. Tous doivent être associés à l’évaluation, dans un effort
commun de cohérence de l’action publique, afin de supprimer les incohérences ainsi que les
éventuelles redondances des actions, et contribuer ainsi à la restauration des finances
publiques.

Chaque évaluation de politique s’effectue en deux grandes phases.

a) La première phase consiste en un diagnostic.
Il s’agit de réaliser une évaluation pragmatique selon la définition suivante qui
correspond à l’esprit dans lequel doit être menée la démarche :
« L’évaluation de l’action publique (politique, programme, dispositif) a pour objet
d’en apprécier la valeur au regard de certains critères, comme la pertinence, l’efficacité,
l’efficience…notamment dans le but d’apporter des connaissances pour aider à la décision et
éclairer le débat public »1.
Evaluer consiste ainsi à apprécier la valeur ajoutée de la politique et du partenariat mis
en œuvre à partir d’un faisceau d’indices :
- Pertinence des objectifs et de leur hiérarchie : dans quelle mesure les objectifs
poursuivis par l’intervention publique - que ces objectifs soient explicites ou implicites -
sont-ils en adéquation avec les besoins identifiés et avec les grandes priorités du
gouvernement ?
- Cohérence des objectifs : dans quelle mesure les objectifs de la politique analysée sont-
ils cohérents entre eux et avec ceux des autres interventions publiques qui interagissent
avec elle ?
- Efficacité : quel est l’impact propre de l’intervention publique ? Les résultats et effets
constatés sont-ils en adéquation avec les objectifs fixés initialement ? Dans quelle
mesure les différents instruments mis en œuvre contribuent-ils aux objectifs ?

1
Méthodes d’évaluation des politiques publiques, Actes du séminaire, DREES, Etudes et Statistiques, Mai 2011.

2
 - Efficience : pourrait-on obtenir un résultat au moins égal à moindre coût ? Pourrait-on
obtenir davantage de résultats à un coût équivalent ?
- Soutenabilité : la capacité de mobilisation des ressources perdurera-t-elle et sera-t-elle
capable de répondre aux enjeux d’aujourd’hui et de demain ?
L’évaluation ne se préoccupe pas de sanctionner un écart et de juger les institutions,
moins encore les personnes, mais d’améliorer les politiques.
Cette démarche porte sur une politique publique, à savoir un ensemble ordonné de
mesures et d’actions publiques, de procédures et de régulations, destiné à répondre à une
demande sociale et à susciter une transformation pérenne de l’état de la société. Une politique
peut combiner plusieurs instruments : production de normes ; transferts et incitations
monétaires ; production de biens et services collectifs et communication - information.
b) La seconde phase consiste en l’élaboration de scénarios de réforme qui seront
présentés au Comité interministériel de modernisation de l’action publique (CIMAP). Plus
technique et laissant davantage la place au travail interne des administrations, cette phase
n’exclut pas la consultation voire la concertation dont l’opportunité doit être laissée au choix
du ministre.
Cet exercice d’évaluation s’effectue dans le cadre de la trajectoire des finances
publiques dont les contraintes doivent être explicitement affichées sans toutefois réduire cette
démarche à la simple résolution des questions budgétaires, ce qui risquerait de la vider de son
sens.
S’agissant non d’un exercice ponctuel mais d’une démarche continue, le périmètre du
questionnement peut être plus ou moins ciblé. Les angles d’analyse de la politique concernée
résultent d’un choix pragmatique et pourront être complétés ultérieurement lors de nouveaux
exercices d’évaluation. Il n’y a donc pas d’obligation à tout examiner en une seule fois, ce qui
risquerait, du reste, de conduire à l’échec.

Cette démarche doit se garder de plusieurs écueils :

- dysfonctionnement de la gouvernance : confusion des rôles entre le commanditaire (le
ministre), son délégué (directeur métier par exemple) et le responsable opérationnel
chargé des travaux ;
- dérive technocratique d’un exercice « capturé par des experts », englué dans de
difficiles mesures de résultats, verrouillé dans ses modalités de consultation, ignorant
les bénéficiaires et en définitive éloigné des préoccupations du citoyen2 ; ce risque peut
notamment découler d’une insuffisante association des acteurs au moment de la
rédaction du cahier des charges ou d’une concertation trop réduite ou formelle ;
- capture de l’exercice par des intérêts établis ;
- détournement de l’exercice par l’exigence de rendement budgétaire immédiat ;
- conclusions inflationnistes et décalées par rapport aux contraintes des finances
publiques ;
- impossibilité de diagnostic partagé et d’une vision commune sur les finalités ;
- résultat peu discriminant et peu éclairant, du fait d’une commande initiale
insuffisamment précise ou de la recherche exclusive d’un dénominateur commun ;

2
Guillermo MARTIN, « L’évaluation peut-elle échapper au risque technocratique ? », Pouvoirs locaux, n° 881,
2011.

3
 - exercice non connecté à la décision politique ; dans ce cas, l’évaluation, au lieu de
mobiliser les partenaires, les démotive pour longtemps.
Aussi, trois grandes recommandations essentielles devront-elles être gardées en
mémoire :
1. Le facteur temps est déterminant. En effet, le souci d’objectiver les constats à partir
d’une méthode aussi rigoureuse que possible, tout comme le souhait d’associer toutes
les parties prenantes, peut créer une tension entre la tentation d’une démarche
scientifique potentiellement longue et la volonté de s’en tenir à une démarche plus
courte, s’appuyant sur des méthodes qualitatives et la seule confrontation de points de
vue. Une évaluation complète de politique publique partenariale requiert six à neuf
mois ; au-delà de ce délai il y a risque d’enlisement. Ceci implique un pilotage
extrêmement structuré, identifiant bien les responsabilités de chacun ainsi qu’un
calendrier fermement tenu.
2. L’existence d’une concertation appropriée ainsi que la connexion du processus
avec la décision politique sont nécessaires pour permettre les remises en question sans
démotiver les participants. Il faut distinguer clairement une phase de diagnostic très
ouverte et concertée, un temps de décision politique sur les orientations à retenir et une
étape plus technique d’approfondissement de scénarios.
3. Pour éviter un exercice décalé par rapport aux réalités des finances publiques et ne
pas créer de désillusions, les exigences de la trajectoire pluriannuelle des finances
publiques doivent être affichées d’emblée de façon globale dès la transmission du
mandat d’évaluation au ministre. Un cadrage budgétaire plus précis sera intégré lors de
l’esquisse des scénarios. La hiérarchisation des priorités assignées à la politique
examinée doit permettre, in fine, de concilier la réduction des dépenses publiques et le
respect des finalités de la politique.

4
2 Qui fait quoi ?

2.1 Les responsabilités de pilotage

2.1.1 La coordination et la cohérence d’ensemble des évaluations de
politiques publiques

Rôle du Comité interministériel pour la modernisation de l’action publique

Le CIMAP, présidé par le Premier ministre, « décide et coordonne les évaluations de
politiques publiques, notamment partenariales »3. Le ministre chargé de la réforme de l’Etat
en est le rapporteur.

Rôle du Secrétariat général pour la modernisation de l’action publique (SGMAP)

Le SGMAP exerce le rôle « d’assistance interministérielle à maîtrise d’ouvrage » :
- à l’échelon du Premier ministre, responsable de l’ensemble de la démarche au titre de la
modernisation de l’action publique ;
- à l’échelon des ministres chefs de file des évaluations des politiques.
Le décloisonnement de l’information entre ministères et une coordination forte des
exercices d’évaluation sont des conditions essentielles de la bonne réalisation des travaux.
Dans ce cadre, le SGMAP :
- assure la cohérence des différents projets d’évaluation : synchronisation des échéances,
cohérence des lettres de mission ou cahiers des charges propres à chaque politique,
ajustement des périmètres entre des politiques qui se recoupent, harmonisation des
documents types et des livrables, cohérence de la communication, etc. ;
- veille à la conformité des travaux aux attentes du Premier ministre ;
- alerte le cabinet du Premier ministre et celui du ministre chargé de la Réforme de l’Etat
sur les risques de retard et les difficultés rencontrées ; dans ce cadre, il peut susciter des
demandes d’arbitrage ;
- contribue à rationaliser les contributions demandées aux services de l’Etat qui seront
particulièrement sollicités (direction du budget, direction générale des collectivités
locales, direction de la sécurité sociale par exemple) ainsi qu’aux associations d’élus
locaux notamment ;
- coordonne et suit les relations avec le Parlement au titre de son information ou de sa
consultation, aux différentes phases des évaluations.
En outre, le SGMAP a vocation à mutualiser un certain nombre de prestations.
Il gère en particulier un site interministériel rassemblant les informations sur
l'avancement des travaux d'évaluation : renseignements généraux sur la démarche et sa
méthode, informations propres à chaque politique concernée par l’évaluation. Cette
plateforme doit donner une visibilité à la démarche pour les citoyens et pour les agents.

3
Décret n° 2012-1199 du 30 octobre 2012 portant création du comité interministériel pour la modernisation de
l'action publique.

5
 Il est aussi appelé à fournir un soutien technique aux équipes en charge de
l’évaluation, notamment sur les points suivants :
- réunions périodiques de partage d’expérience des responsables opérationnels et des
coordinateurs ;
- construction d'enquêtes, modalités de consultation des usagers sur échantillon ;
- mise à disposition de la plateforme Internet ou Intranet pour recueillir des contributions
sur des sujets précis, à la demande des responsables opérationnels d’évaluation, et
conseils sur la mise en place de ces démarches ;
- réalisation de documents types et de notes de doctrine permettant d’harmoniser les
pratiques ;
- prestations de consultants.

Responsabilité d’ensemble du pilotage des évaluations de politiques publiques

Source : mission IGF-IGA-IGAS4

2.1.2 Les structures de pilotage propres à chaque politique publique

Les développements suivants précisent le rôle des principaux acteurs impliqués dans le
pilotage de l’évaluation d’une politique. Le respect de ces différentes fonctions est essentiel,
tant les défauts de gouvernance sont la source fréquente de dérapage ou de non aboutissement
des projets.

4
Organisation conçue par la mission avec l’appui de Pierre Orliac Conseil.

6
 Schéma de pilotage d’une évaluation de politique publique

Ministre chef de file pour l’évaluation

de la politique

Comité de pilotage
Lettre de
mission
Rapports
Coordinateur
d’évaluation
Cahier des
Rapports d’évaluation charges

Comptes-rendus

Responsable opérationnel de l’évaluation

+ Equipe d’appui

Contributions

Contributeurs

a) Le ministre chef de file

La méthode de modernisation de l’action publique retenue par le Gouvernement
prévoit que les ministres auront la responsabilité des évaluations, dans le cadre de mandats
donnés par le Premier ministre. Chacun d’eux est le commanditaire (i.e. maître d’ouvrage) de
l’évaluation de la politique considérée. Le ministre chef de file :
- compose et préside le comité de pilotage de l’évaluation ;
- désigne le coordinateur de l’évaluation, c’est-à-dire son délégué dans la fonction de
maîtrise d’ouvrage ;
- choisit les responsables opérationnels chargé respectivement de réaliser les travaux de
diagnostic et d’approfondir les scénarios de réforme ;
- adresse au(x) responsable(s) opérationnel(s) leur lettre de mission ; détermine les
orientations de réforme qui seront approfondies lors de la deuxième phase de
l’évaluation ;
- présente en CIMAP les décisions relatives à la redéfinition de la politique considérée ;
- suit la mise en œuvre du plan de réforme et en rend compte en CIMAP.

7
 b) Le comité de pilotage

Composition
Le comité de pilotage (CoPil) regroupe les principaux acteurs de la politique et les
institutions appelées à fournir des ressources humaines et techniques essentielles à
l’évaluation (données, études ou enquêtes, etc.), notamment :
- La ou les direction(s) d’administration centrale principalement chargées de la politique
considérée, leurs éventuels opérateurs et leurs services territoriaux ;
- le secrétariat général du ministère chef de file ;
- selon la politique considérée, les représentants des collectivités territoriales ;
- selon la politique considérée, les représentants des organismes de protection sociale ou
les partenaires sociaux représentant un acteur paritaire essentiel ;
- éventuellement, la ou les direction(s) de statistiques et d’évaluation ;
- la direction du budget et, selon les politiques, les directions transversales concernées
comme la direction générale des collectivités territoriales, la direction de la sécurité
sociale... ;
- le secrétariat général à la modernisation de l’action publique (SGMAP).
Le CoPil est composé de membres capables d’engager leurs institutions respectives
lors des décisions à prendre (mobilisation des ressources nécessaires, périmètre de
l’évaluation, délais, orientations de réforme…). La fonction et le niveau hiérarchique des
membres du CoPil doivent être cohérents avec cette exigence de même que leur stabilité sur la
durée du projet. Il importe en outre que la taille de cette instance reste maîtrisée afin de
faciliter la prise de décision.
Le responsable opérationnel de l’évaluation (maître d’œuvre de celle-ci - cf. infra) ne
fait pas partie du comité de pilotage.
Le secrétariat de cette instance est assuré par le coordinateur de l’évaluation de la
politique considérée auprès du ministre (cf. infra).

Fonctions du comité de pilotage

Le comité de pilotage délibère sur les décisions nécessaires au lancement du projet
d’évaluation puis au fur et à mesure de son avancement :
- valide le cahier des charges élaboré pour le compte du ministre chef de file par le
coordonnateur de l’évaluation (cf. infra) ;
- attribue les ressources nécessaires à ces travaux ;
- délibère au vu des différents rapports et dossiers élaborés (cf. infra : les étapes de
l’évaluation).
La fréquence de ses réunions est dictée par les échéances fixées à l’avance et les
besoins de décisions.

8
 c) Le coordinateur de l’évaluation auprès du ministre chef de file
Le coordinateur désigné par le ministre assure, pour le compte de celui-ci, des
fonctions de suivi et de coordination. Il est, en d’autres termes, le maître d’ouvrage délégué de
cette évaluation. A ce titre, il :
- traduit le mandat du Premier ministre en une lettre de mission précise à destination du
responsable opérationnel (lettre signée par le ministre) ; il prépare également le cahier
des charges qui vient éventuellement compléter la lettre de mission ;
- suit l’avancement du projet et veille au respect du cahier des charges et des délais ;
- assure la circulation de l’information et gère les interfaces ;
- prépare les réunions du CoPil et en assure le secrétariat.
Le coordinateur est destinataire de toutes les informations nécessaires à cette fin.
Il est souhaitable que le coordinateur soit le directeur de l’administration centrale
portant la politique. Le secrétaire général du ministère l’assiste en tant que de besoin.

La lettre de mission et le cahier des charges

La lettre de mission est le document par lequel le commanditaire confie la responsabilité de l’évaluation à un
responsable opérationnel. Il en précise les délais.
Si la lettre de mission est formulée en termes généraux, elle doit s’accompagner d’un cahier des charges qui
indique les questions intéressant particulièrement le commanditaire, le périmètre des travaux, ainsi que la forme
du résultat attendu. Ce cahier des charges précise, pour la phase de diagnostic, si le rapport doit fournir des
éléments de prospective et s’il doit esquisser des scénarios de réforme. Sans entrer dans le détail des méthodes à
employer, il peut formuler certaines exigences à cet égard (conduire certaines consultations avec tel ou tel
partenaire ou groupe d’usagers, procéder à une enquête pour éclairer tel sujet, etc.).

d) Le responsable opérationnel de l’évaluation et son équipe d’appui

Le responsable opérationnel
Le « responsable opérationnel de l’évaluation » est désigné par la lettre de mission
signée du ministre.
Il mène ses travaux conformément à un cahier des charges propre à la politique
examinée, qui complète le guide méthodologique commun.
Si lettre de mission et cahier des charges précisent les attentes du commanditaire, ses
objectifs prioritaires ainsi que les délais impartis, et éventuellement certaines exigences en
matière de consultation, le responsable opérationnel doit disposer d’une grande latitude ; il
conduit ses travaux en opérant les choix méthodologiques qu’il juge pertinents, sans
interférence du commanditaire ni du comité de pilotage.
Le responsable opérationnel rend compte au coordinateur selon une périodicité
convenue entre eux ou selon les nécessités survenant au cours des travaux.
Il signe les rapports établis à l’issue de chaque phase (cf. infra : les étapes de
l’évaluation).

9
 Différents profils peuvent être envisagés pour cette fonction : responsable
d’administration centrale ou déconcentrée, préfet, responsable de services d’une collectivité
territoriale, universitaire, personnalité qualifiée, responsable d’un opérateur, membre d’un
corps d’inspection et de contrôle, etc.
Les deux phases de l’évaluation - diagnostic et scénarios de réforme - étant de nature
différente et des questions de disponibilité pouvant se poser pour les responsables
opérationnels, elles peuvent ne pas être confiées à la même personne.
Le tableau suivant résume le type de compétences requises lors des deux phases
d’évaluation :

Qualités attendues de la maîtrise d’œuvre pour Qualités attendues de la maîtrise d’œuvre pour la
la phase de diagnostic : phase d’expertise des orientations de réforme :

Autorité reconnue et disponibilité

Capacités d’organisation
- compétence générale sur la politique ; surtout
- compétence technique pointue sur la politique
bonne connaissance de ses acteurs
- bonne connaissance des administrations publiques
- qualités d’animation, capacité à conduire les
consultations et à synthétiser les différents points - capacité à assembler les éléments d’expertise et à
de vue piloter des services pour la construction des
scénarios et leur test
- capacité à faire émerger une vision collective de
la politique et de son évolution - capacité à dégager les conditions opérationnelles de
mise en œuvre d’une réforme
- neutralité

L’équipe d’appui auprès du responsable opérationnel de l’évaluation

Le responsable opérationnel de l’évaluation s’entoure d’une équipe d’appui (entre 3 et
6 personnes) qui apporte, de manière permanente sur la durée de chaque phase de
l’évaluation, les principales compétences requises pour la mener à bien. Pour les politiques
fortement décentralisées ou les politiques sociales, cette équipe pourra utilement compter un
ou plusieurs cadres de la fonction publique territoriale ou issus des organismes sociaux ou des
opérateurs.
L’équipe d’appui peut évoluer entre la phase de diagnostic et la phase d’expertise
technique des scénarios de réforme au regard des compétences requises pour les différents
travaux.
Les membres de l’équipe d’appui sont mis à disposition du responsable opérationnel
pour la quotité de temps nécessaire à la réalisation du projet.
L’équipe d’appui constitue le noyau de gestion du projet d’évaluation et elle réalise
elle-même un certain nombre de tâches de production. Elle convient de ses propres méthodes
de travail (« qui fait quoi », planning des tâches, gestion des documents, configuration des
outils de traitement de l’information - utilisation d’un site collaboratif par exemple-, etc.).

Les contributeurs de la démarche

Le responsable opérationnel et son équipe d’appui sollicitent des contributions
extérieures, multiples et ponctuelles selon les besoins identifiés (travaux statistiques,
expertises, enquêtes, retours d’expérience, groupes de travail, « focus groupe », etc.).

10
 Il peut aussi être recouru à des experts au sens large du terme : organismes producteurs
de statistiques, d’études ou d’évaluations sur la politique examinée (dans certains cas de
nombreux travaux existent déjà et appellent des compléments ou des mises à jour),
prestataires d’enquêtes, personnalités qualifiées ou issues de l’administration (hauts conseils,
organismes consultatifs, futur Commissariat général chargé de la prospective et de la
stratégie) ou des milieux académiques, etc. Ces derniers sont susceptibles de préciser certains
points ou d’éclairer autrement les interrogations portées sur une politique.
La contribution attendue des experts, qu’il s’agisse de questions de méthode ou
d’analyses, s’exprime en termes d’ouverture, d’objectivation et d’indépendance de la
réflexion.

Les différents contributeurs à une évaluation

Experts Bénéficiaires des politiques Acteurs des politiques

Personnalités qualifiées, experts Citoyens ou usagers, Administrations centrales et

du secteur ou d’autres disciplines, associations, collectivités déconcentrées, collectivités
organismes producteurs de territoriales territoriales, opérateurs,
statistiques, d’études, organismes de protection sociale,
d’évaluations, et de prospective, associations et autres partenaires
prestataires d’enquêtes, etc privés de l’action publique

Expérience vécue sur la mise en Informations sur la co-

Objectivation, œuvre et les effets de la politique. production (conception / mise en
indépendance, Hiérarchisation des attentes. œuvre) de la politique, approche
ouverture de la Explicitation des « services à consolidée entre acteurs, mise en
réflexion. rendre » essentiels à court et moyen perspective moyens / fins.
terme.

11
 Schéma récapitulatif du pilotage d’une évaluation de politique partenariale

Ministre chef de file

Orientation
délibération Commanditaire de
l’évaluation de la
Comité de pilotage : politique
SG MAP, SG ministériels, Lancement, lettres de
directions métiers, organismes mission, décisions
de statistiques et études, dir.
Budget, collectivités
territoriales, organismes de Coordinateur
protection sociale, opérateurs… Directeur d’administration
Délégué du
= acteurs clés pour centrale par exemple
commanditaire (i.e.
l’aboutissement du projet
maître d’ouvrage
d’évaluation
délégué)

Suivi, interface

Responsable opérationnel de l’évaluation

+ Equipe d’appui
Membres des administrations centrales ou déconcentrées,
collectivités territoriales, opérateurs, organismes de protection
sociale, milieux académiques… + consultant éventuel
Maître
d’œuvre
Planification, animation et coordination des travaux.
Mobilisation des ressources (documentation, groupes de travail, enquêtes, etc.) et consultations

CONTRIBUTEURS
Acteurs des politiques
Bénéficiaires des politiques
Experts

Source : mission IGF-IGA-IGAS

La fiche technique n° 2 présente quelques exemples de pilotage d’évaluations
effectivement mises en place. Ces illustrations montrent la diversité des schémas retenus, dans
le respect cependant d’une même logique, ainsi que la nécessité d’adaptation de chaque
exercice à sa finalité.
La fiche technique n° 4 récapitule le rôle de chacun sous la forme d’un tableau
synoptique.

2.2 L’association des parties prenantes à l’évaluation

Une évaluation doit tout d’abord associer les acteurs qui contribuent à cette politique
mais également ses bénéficiaires, directs ou indirects (usagers, citoyens…). La notion de
parties prenantes rassemble les acteurs et les bénéficiaires de la politique.
Si le temps consacré aux échanges est suffisant, il peut en résulter, outre des éclairages
techniques et qualitatifs, une évolution des représentations collectives, composante importante
de toute réforme d’envergure qui donne son sens à la démarche d’évaluation participative.

12
 2.2.1 Les acteurs

De compétence nationale ou locale, services ou opérateurs d’Etat, collectivités

territoriales et leurs établissements publics, organismes paritaires, partenaires privés de
certaines actions publiques, ces acteurs ont vocation à apporter des informations éclairant,
pour la politique examinée, les objectifs poursuivis, les résultats observés, les modalités
d’intervention, l’articulation entre eux, les difficultés de mise en œuvre, les contradictions et
les redondances, etc.
L’évaluation doit fournir une vision consolidée des interventions de l’ensemble des
acteurs - des moyens mis en œuvre, de leurs logiques, de leurs finalités, de leur cohérence ou
incohérence d’ensemble. Cette approche consolidée est indispensable pour permettre une mise
en perspective des moyens par rapport aux objectifs poursuivis et une redéfinition de la
politique partenariale, mais aussi pour améliorer le positionnement de chaque acteur dans
cette politique.

Les élus locaux

Les élus locaux sont des partenaires essentiels de nombreuses politiques. A ce titre ils
sont appelés à faire partie du comité de pilotage pour les politiques auxquelles ils contribuent.
Sous réserve des attributions du Haut Conseil des territoires envisagé dans le cadre de
la future loi de décentralisation, les instances représentatives des collectivités
territoriales5 peuvent être sollicitées pour désigner certains de leurs membres au sein des
comités de pilotage et, le cas échéant, des fonctionnaires territoriaux au sein de l’équipe
d’appui ou de groupes de travail. Ces associations pourraient également diffuser des enquêtes
conçues par les responsables opérationnels en lien avec elles.

Les organismes de protection sociale

Les institutions intervenant dans la protection sociale ont également toute leur place
dans les évaluations de politiques publiques les concernant. Quelques spécificités doivent être
soulignées à cet égard :
- l’existence de plusieurs « Hauts Conseils » ou « Conseils d’orientation » chargés de
conduire de manière continue un dialogue, une réflexion prospective et des analyses
évaluatives sur plusieurs sujets de la protection sociale (famille, retraites, financement
de la protection sociale, etc - cf. encadré suivant) ;
- l’existence d’échéances propres aux régimes de protection sociale (par exemple le
« rendez-vous retraites » de 2013 ou la renégociation du la convention de l’UNEDIC
cette même année) ;
- la gestion strictement paritaire de certains organismes.

5
En particulier : Association des maires de France (AMF), Assemblée des communautés de France (AdCF),
Assemblée des départements de France (ADF) et Association des régions de France (ARF).

13
 Aperçu de quelques Hauts Conseils dans le domaine de la protection sociale
Haut Conseil pour l'avenir de l'assurance maladie (HCAAM)
• Instance installée en 2006 réunissant 66 membres représentant les partenaires sociaux, le Parlement, les
administrations concernées de l’Etat et de la Sécurité sociale, les acteurs privés relevant de la prévoyance, les
professionnels, établissements et industriels du secteur de la santé, les usagers, et des personnalités qualifiées
parmi lesquelles sont nommés le président et le vice-président.
• Ses attributions consistent à a) évaluer le système d’assurance maladie et ses évolutions, b) décrire la situation
financière et les perspectives des régimes d’assurance maladie et apprécier les conditions requises pour assurer
leur pérennité à terme, c) veiller à la cohésion du système d’assurance maladie au regard de l’égal accès à des
soins de haute qualité et d’un financement juste et équitable, d) formuler, le cas échéant, des propositions de
réforme de nature à répondre aux objectifs de cohésion sociale et de pérennité financière des régimes
d’assurance maladie.
• Le HCAAM élabore, dans le cadre d’un programme annuel de travail adopté par ses membres, des rapports ou
avis qui sont rendus publics ; remet chaque année au Gouvernement et au Parlement un rapport sur la situation et
l’évolution de l’assurance maladie, également rendu public ; peut être saisi par le Premier Ministre et le(s)
ministre(s) chargé(s) de la santé ou de l’assurance maladie de toute demande d’avis.
• Quelques thèmes de travaux récemment publiés :
« Avenir de l’assurance maladie : les options du HCAAM » (2012)
« Mieux évaluer la dépense publique d’assurance maladie : l’ONDAM et la mesure de l’accessibilité financière
des soins » (Rapport annuel, 2011),
« L’accessibilité financière des soins : comment la mesurer ? » (avis et note d’accompagnement, 2011)
« Assurance maladie et perte d’autonomie » (rapport, 2011)
Haut Conseil de la famille (HCF)
• Instance présidée par le Premier ministre et composée de 52 membres représentant les partenaires sociaux, le
Parlement, le mouvement associatif familial, les collectivités territoriales (représentants désignés respectivement
par l'AMF, l'ADF et l'ARF), les administrations de l’Etat et de la Sécurité sociale, ainsi que des personnalités
qualifiées désignées par le ministre chargé de la famille, parmi lesquelles est nommé un président délégué.
• Sur la base d’un programme de travail annuel arrêté par le Premier ministre, le Haut Conseil de la famille a)
anime le débat public sur la politique familiale, en particulier la définition et la hiérarchisation de ses objectifs
essentiels ; b) formule des recommandations, avis et propositions de réformes ; à cet effet, il réalise des travaux
d’évaluation et de prospective sur la politique familiale ; c) mène des réflexions sur l’équilibre financier de la
branche famille de la sécurité sociale au regard des évolutions sociales, économiques et démographiques. Il peut
en outre être saisi de toute question par le Premier ministre ou le ministre chargé de la famille.
• Il dispose des éléments d’information et d’études produits par les administrations de l’Etat et de la Sécurité
sociale. Le Haut Conseil leur fait connaître ses besoins afin qu’ils soient pris en compte dans leurs programmes
d’études et leurs travaux statistiques.
• Quelques thèmes de travaux publiés sur la période 2010-2012 :
« Familles et logement »
« Accueil des jeunes enfants »
« Place des familles dans la prise en charge de la dépendance des personnes âgées »
« Architecture des aides aux familles : quelles évolutions pour les 15 prochaines années ? »

2.2.2 Les bénéficiaires

Les travaux d’évaluation s’appuient sur les contributions des citoyens et des
destinataires d’une politique, ces derniers pouvant être des individus ou des personnes
morales, privées (association, entreprise) ou publiques (collectivité territoriale par exemple).
Même lorsque la politique s’adresse aux individus (en tant que destinataires de
prestations, de services collectifs, d’obligations, etc.), ceux-ci sont généralement représentés
par des mouvements associatifs dont certains sont structurés à l’échelle nationale.

14
 Leurs contributions ont une légitimité propre : celle que confère l’expérience des
intéressés sur la mise en œuvre et les effets d’une politique, ainsi que l’expression de leurs
priorités quant aux évolutions possibles. C’est indispensable à la fois pour l’analyse de la
politique sous l’angle de la pertinence et de l’efficacité et pour le travail de hiérarchisation des
objectifs.
L'association des usagers doit être adaptée à chaque politique publique. Il n’existe pas
de modèle-type.

2.2.3 Les modalités d’association

L’association des parties prenantes peut intervenir à différents stades du processus

d’évaluation et selon des modalités différentes.
Leur participation à l’évaluation pourra ainsi prendre deux formes principales : la
consultation et la concertation sur les mesures à prendre et les modalités de leur mise en
œuvre.
La consultation suppose l’existence d’un document présentant des faits ou des analyses,
sur lequel l’avis de personnes ou d’institutions est demandé. La demande peut être simple
(êtes-vous ou non d’accord ?) ou plus complexe (une contribution des personnes
consultées est alors attendue, qui pourra être retenue ou non).
La concertation vise à produire une analyse commune entre différentes parties. Elle peut
s’appuyer sur un document préalable (un pré-diagnostic par exemple) mais celui-ci n’est
pas requis. Il ne s’agit pas d’une négociation – qui aboutirait à un compromis et
impliquerait nécessairement le décideur – mais d’une production commune faisant
apparaître les points d’accord mais aussi, le cas échéant, les divergences.

Consultation et concertation6
La consultation est, au sens strict, une demande d’avis. Il s’agit du processus par lequel le point de vue d’un
organisme ou l’opinion de la population concernée par une politique est sollicité. Elle peut porter sur tout ou
partie de l’état des lieux, sur l’analyse des résultats de la politique évaluée ou sur des scénarios d’évolution. La
demande d’avis se présente sous forme d’une ou de plusieurs questions précises.
Dans un sens plus large, il s’agit d’une demande de contribution (production d’un document présentant une
analyse ou une opinion sur tout ou partie d’un état des lieux ou sur des scénarios d’évolution) à des organisations
syndicales, à un service, à un ou plusieurs experts, à des groupes d’usagers…
La consultation concerne également les agents chargés de la mise en œuvre de la politique aux différents niveaux
de la hiérarchie, au sein des administrations publiques concernées.
La concertation est une attitude globale de prise d’avis sur un projet par une autorité qui, avant sa décision,
souhaite engager un dialogue avec les personnes intéressées, tout en restant libre de sa décision. Le processus
peut être lancé en amont. La concertation implique que le décideur s’engage non seulement à écouter mais,
chaque fois que possible, à prendre en considération des remarques, des amendements, voire des propositions.
Les concertations sont d’ampleur et d’incidences variables : elles peuvent être bilatérales, ce qui permet un
dialogue plus direct et approfondi ; elles peuvent rassembler à certains moments l’ensemble des partenaires.

6
Source : d’après Conseil d’Etat, Rapport public 2011, Consulter autrement, participer effectivement.

15
 La contribution des agents publics au diagnostic doit notamment être organisée dans le
cadre d’ateliers adaptés à la politique considérée ; ils peuvent également intervenir en test
dans la phase d’approfondissement des scénarios et bien évidemment lors de la construction
du plan d’action. Cette participation est à coordonner avec l’information des organisations
syndicales (cf. point 4 infra).
En particulier, il est indispensable que l’évaluation puisse tirer profit de la
connaissance technique des agents des trois fonctions publiques - pour l’Etat en
administration centrale comme en services déconcentrés.
Les besoins ainsi que le degré de satisfaction des usagers peuvent être connus grâce à
des enquêtes. Un recensement des travaux existants, au sein des ministères, des observatoires
ou des instituts dédiés est donc un préalable. Toutefois, il est rare que les indicateurs attendus
soient disponibles ou suffisants.
Selon les sujets, des instances ou des groupements d'acteurs existent (jeunesse, vie
associative, économie agricole, auxiliaires de justice par exemple) ; ils peuvent parfois être
représentés dans les instances consultatives évoquées ci-dessous. Il est également
recommandé de se rapprocher du Conseil économique, social et environnemental en tant que
de besoin.
Les instances consultatives existantes
Il est fréquent que des organes consultatifs préexistent à la démarche d’évaluation dans le champ de certaines
politiques. Ces instances ont été créées à la fois pour renforcer la légitimité de la décision publique – en
organisant la concertation entre les institutions partenaires – et pour donner une plus grande efficacité au
processus décisionnel – par exemple en mutualisant les moyens d’instruction et en assurant la collecte des
informations à un niveau pertinent7.
Il existe 668 commissions ou instances consultatives ou délibératives placées auprès du Premier ministre ou des
ministres (cf. document annexe du PLF 2013). De nombreuses commissions existent également au niveau
déconcentré.
Certains de ces organismes assurent des missions purement techniques (commissions professionnelles par
exemple), d’autres donnent un avis préalable à des décisions individuelles, mais un grand nombre rassemble
l’Etat et les collectivités acteurs d’une politique. Il peut être utile :
- de s’appuyer sur ces instances dès lors qu’elles sont chargées, à un degré ou un autre, de missions de
concertation ou d’évaluation et qu’elles fonctionnent de façon effective ; ces instances peuvent même
parfois, en fonction leur composition, servir de « plateforme de concertation » afin de contribuer au
diagnostic sur un point précis ;
- de reprendre le travail d’analyse et de réflexion prospective déjà réalisé, lorsque ces instances ont
produit ou dirigé, dans une période récente, l’évaluation partagée d’une politique.

Quant aux modalités de consultation, diverses solutions existent : enquêtes de

satisfaction, forums en ligne dédiés, organisation de tables rondes, ateliers de travail, cahiers
d’acteurs, groupes informels, étude de cas type… La fiche technique n° 3 détaille ces
dispositifs. Elle indique leur intérêt et les précautions de méthode requises, s’agissant
notamment du recours aux forums en ligne.

7
Voir infra, l’encadré « Aperçu de quelques Hauts Conseils dans le domaine de la protection sociale ».

16
 Les normes minimales ou principes directeurs de la concertation en ligne
Respecter des délais proportionnés à l’importance du sujet présenté.
Etre circonscrite et mentionner les principales parties prenantes.
Etre préalablement documentée, de manière complète, précise et objective.
Etre conduite de manière impartiale et, si possible, par un tiers.
Faire l’objet d’un bilan des observations recueillies.
Indiquer les suites qu’il est envisagé de lui donner.
Source Rapport public du Conseil d’Etat 2011 « Consulter autrement, participer effectivement »

Il est possible de s’appuyer, pour certains types de prestations, sur les panels d’usagers
constitués par le SGMAP et, à terme, sur le baromètre de la qualité des services publics prévu
par le décret du 30 octobre 2012.
D’une manière générale, le SGMAP, chargé de l’association des agents publics, des
usagers et des partenaires de l'administration aux travaux de modernisation de l’action
publique, apportera son appui aux ministères.

2.3 La place du Parlement

Il appartient à chaque ministre d’assurer la bonne information du Parlement.
Un amendement a été adopté le 7 novembre 2012 à l’occasion de l’examen du projet
de loi de finances pour 2013. Il prévoit une procédure d’information détaillée à destination du
Parlement à l’occasion de chaque réunion du CIMAP (ordre du jour détaillé, résultats des
évaluations, suivi des réformes, incidences sur les dépenses et l’emploi public, modalités
d’association des agents publics et des usagers).
Sous réserve de son adoption définitive, un lien permanent et naturel sera en effet
instauré dorénavant dans le processus d’évaluation : régulièrement informées, les
commissions pourront susciter en tant que de besoin des auditions des ministres ou des
responsables en charge de l’évaluation et évoquer les problématiques en question. Associé à
l’occasion de chaque CIMAP, le Parlement pourra suivre sans délai l’élaboration et le
déroulement des réformes et disposera d’une large visibilité sur les calendriers. Il aura ainsi
toute latitude pour intervenir au moment jugé le plus opportun.
Le Parlement peut être également consulté sous d’autres formes laissées à
l’opportunité des ministres :
- invitation de parlementaires (présidents, rapporteurs ou membres de commission) à une
séance informelle d’échange au ministère ;
- audition par le responsable opérationnel ou les groupes de travail de parlementaires
« experts » ou ayant participé à des travaux d’évaluation (notamment dans le cadre des
commissions parlementaires et du Comité d’évaluation et de contrôle de l’Assemblée
nationale) ;
- demande d’audition au Parlement par le ministre concerné à l’occasion d’une étape
marquante du processus d’évaluation.

17
18
3 Les étapes de l’évaluation

Chaque évaluation comporte une phase de diagnostic et une phase

d’approfondissement des scénarios, elles-mêmes divisées en plusieurs étapes.

Déroulement de la démarche d’évaluation

Chaque étape est présentée avec ses objectifs, ses modalités et les livrables attendus.
Des encadrés ou des fiches techniques en annexe proposent des documents types ou illustrent
des points d’attention. La fiche technique n°4 récapitule le rôle de chaque acteur selon les
étapes de la démarche.

3.1 Etape 1 : Organisation administrative et définition de la commande

3.1.1 Objectifs

Cette étape consiste à mettre en place l’organisation administrative de l’évaluation et à

constituer la documentation d’appui permettant de fonder le diagnostic. Ceci implique
notamment de :
- désigner le coordinateur de l’évaluation ;
- mettre en place le comité de pilotage ;
- rassembler un dossier documentaire sur la politique évaluée ;
- préparer le cahier des charges destiné au responsable opérationnel de la phase de
diagnostic de l’évaluation et désigner celui-ci ;
- mettre en place l’équipe d’appui auprès du responsable opérationnel.

19
 L’équipe d’appui
Le responsable opérationnel de la phase de diagnostic doit disposer d’une équipe dans des délais très rapides
pour l’aider à organiser les réunions et les auditions nécessaires, rechercher et synthétiser la documentation
existante ainsi que les contributions apportées par les différents acteurs, solliciter les acteurs internes ou externes.
Cette équipe l’assiste également pour rédiger les éventuels documents successifs soumis à la consultation ainsi
que les rapports concluant la phase de diagnostic (étape 2 ci-dessous).
Le dimensionnement de l’équipe dépend de l’ampleur de la politique étudiée. Outre le responsable lui-même
occupé quasiment à plein temps, il convient de prévoir a minima deux chargés de mission et un assistant à plein
temps. Pour les politiques impliquant fortement les collectivités territoriales ou les organismes sanitaires et
sociaux, il peut être utile de prévoir au moins un chargé de mission ayant une expérience de ces structures.

3.1.2 Modalités

Qui ?
Dans cette première étape, le ministre désigne le coordinateur de l’évaluation (le
directeur métier de la politique concernée, en liaison avec le secrétaire général du ministère)
chargé de :
- lui proposer la composition du comité de pilotage puis d’en assurer la mise en place ;
- constituer le dossier documentaire ;
- préparer la lettre de mission que le ministre adressera au responsable opérationnel de la
phase de diagnostic ;
- préparer le cahier des charges, à faire valider par le comité de pilotage.
Le cahier des charges complète la lettre de mission. Il reprend des éléments du dossier
documentaire pour caractériser la politique publique étudiée (périmètre, acteurs et
bénéficiaires, objectifs affichés ou implicites, moyens qui lui sont consacrés). Par ailleurs, il
détaille les premiers éléments de questionnement, formulés dans un diagnostic provisoire
permettant de cibler les points sur lesquels l’évaluation sera la plus utile. Il formule
éventuellement certaines exigences de procédure ou de méthode. Enfin il précise le résultat
attendu sur le fond et sur la forme ainsi que son échéance.

Un diagnostic provisoire est-il contraire à une évaluation partenariale ?

La formulation d’un tel diagnostic dès la commande peut sembler paradoxalement « anticiper ainsi sur les
conclusions : l'évaluation ne doit-elle pas aborder son objet sans idées préconçues, et n'a-t-elle pas précisément
pour objet d'identifier ce qui marche et ce qui fait problème ? »
« En fait, les idées a priori du commanditaire (ou d'autres protagonistes de la politique) doivent être considérées
comme des hypothèses à confirmer, à infirmer ou à reformuler. Ces idées constituent à la fois un point de vue et
une connaissance à prendre en compte dès le début de l'évaluation, ainsi qu'une indication permettant d'identifier
les domaines dans lesquels l'évaluation est le plus susceptible de produire des résultats utiles et d'avoir des
retombées pratiques. »8
Il n’engage pas le responsable opérationnel du diagnostic qui peut démontrer en cours de travaux que ces
hypothèses initiales ne sont pas vérifiées ou sont moins structurantes que d’autres éléments.

8
Le petit guide de l’évaluation du conseil scientifique de l’évaluation (conseil national de l’évaluation -
commissariat général du Plan) -http://www.evaluation.gouv.fr/cgp/fr/interministere/doc/petit_guide_cse.pdf

20
 Exemples de questions à se poser pour rédiger le cahier des charges
Périmètre et données disponibles
Le périmètre de la politique publique concernée est-il clair ?
Y a-t-il des politiques publiques connexes qui peuvent interagir avec la politique étudiée ?
Si oui, comment traite-t-on les éventuelles interactions ? (plusieurs solutions : sujet qui n’est pas
au cœur de la politique et qui peut être laissé de côté ; mécanisme de coordination avec les
acteurs concernés ; nécessité de mener les évaluations de façon coordonnée...)
De quels éléments dispose-t-on sur la politique publique étudiée et le contexte socio-
économique ?
Quels sont les données et évaluations disponibles ?
Les données disponibles sont-elles fiables ? Contestées ? Contradictoires ?
Des informations essentielles manquent-elles ? Si oui, peuvent-elles être réunies rapidement ?
Est-il nécessaire de lancer un programme d’étude à plus long terme ?
Y a-t-il un problème d’accès aux données pour les organismes qui disposent des compétences
pour les traiter ?
Quels sont les principaux acteurs de cette politique ?
Dans quels domaines s’agit-il d’une politique partenariale ?
La répartition des compétences est-elle claire ?
Quelles sont les structures décisionnelles ? Normatives ? Au sein et en dehors de l’Etat ?
Quels sont parmi les acteurs, ceux dont la contribution est capitale pour l’évaluation ?
Quels sont les bénéficiaires visés par cette politique ? Disposent-ils d’instances représentatives ?
Existe-t-il une instance consultative concernant la politique ? Comment doit-elle être associée à la
démarche ?
Quels sont les moyens (humains, matériels, financiers) consacrés à cette politique ?
Répartition de ces moyens entre acteurs ? Les données sur les moyens sont-elles fiables ?
Précises ? Ces moyens sont-ils stables dans le temps ?
Quelles sont les données disponibles en matière de performance ?

Finalités et pertinence
Quelles sont les finalités explicites de cette politique? Y en a-t-il d’autres implicites ?

Délai
Cette étape de préparation est cruciale pour amorcer l’évaluation sur de bonnes bases.
Pour les premières évaluations, il sera difficile de disposer d’un délai supérieur à un mois. Par
la suite, il est souhaitable d’anticiper cette étape afin de disposer de plus de temps (deux mois
idéalement) et de permettre au responsable opérationnel pressenti d’organiser parallèlement
son équipe et son programme de travail.

3.1.3 Livrables

A l’issue de cette première étape, sont finalisés :

- la lettre de mission à l’attention du responsable opérationnel du diagnostic ;
- le cahier des charges, avec en annexe un dossier documentaire de base.
La lettre de mission a vocation à être publique (cf. point 4 infra).

21
 Contenu de la lettre de mission signée par le ministre
La lettre de mission est structurée comme suit :
Contexte de la modernisation de l’action publique (§ commun à toutes les politiques)
Le Gouvernement s’est fixé une nouvelle ambition pour une action publique plus cohérente et plus efficace,
inscrite dans un cadre respectueux de la trajectoire de redressement de nos finances publiques. Pour assurer
dans la durée la cohérence et l’efficacité de l’action publique, il a décidé de s’engager dans un travail
d’évaluation des politiques publiques partenariales avec l’ensemble des acteurs concernés (Etat, collectivités,
organismes sociaux et opérateurs).
Ces évaluations partenariales doivent faciliter la construction d’une vision collective des enjeux, des finalités et
des modalités de mise en œuvre de chaque politique publique, en tenant compte des besoins des citoyens actuels
et à venir. Elles doivent aussi contribuer à une hiérarchisation des objectifs de l’action publique, à une
amélioration de son efficience, notamment dans sa dimension partenariale, alors que les dépenses publiques
doivent globalement décroître tout en couvrant les besoins évolutifs de la population.
Le Comité interministériel de la modernisation de l’action publique du 20 décembre 2012 a décidé de faire
procéder à une évaluation partenariale de la politique X dès le début de l’année 2013 (éventuellement : motif) et
a confié au ministre Y la responsabilité de mener à bien cette évaluation (éventuellement en liaison avec le
ministre Z).
Détermination du champ de l’évaluation
- le périmètre de la politique étudiée ;
- les éléments marquants du contexte socio-économique ;
- les acteurs de cette politique ;
- les finalités de cette politique.
Premier diagnostic provisoire
Sujets nécessitant un examen particulier et sur lesquels l’évaluation sera la plus utile.
Modalités de travail
La lettre précise le résultat attendu sur le fond et sur la forme ainsi que les délais et certaines exigences de
procédures ou de méthode.
Proposition de formulation type : Vous conduirez les travaux de diagnostic prospectif de façon partenariale. Il
vous appartient de procéder à toutes les consultations que vous jugerez nécessaires.
Vos travaux devront aboutir dans un délai de X mois à compter de la présente lettre. Ils se composeront d’un
rapport analytique et d’un rapport opérationnel tels que prévus par le cadrage interministériel des évaluations
de politiques publiques.
Vous rendrez compte au coordinateur X…. des éventuelles difficultés rencontrées.
Vous vous appuierez sur une équipe que vous constituerez en lien avec le coordinateur et serez accompagné
dans cette démarche par le secrétariat général pour la modernisation de l’action publique.

Contenu du cahier des charges validé en comité de pilotage

Le cahier des charges précise à destination du responsable opérationnel :
- les éléments relatifs à la politique publique étudiée : périmètre ; acteurs et bénéficiaires ; objectifs affichés ou
implicites ; moyens qui lui sont consacrés ;
- le diagnostic provisoire ;
- le résultat attendu de la phase de diagnostic : date de fin du diagnostic, description des livrables attendus ;
- d’éventuelles exigences de méthode.

22
3.2 Etape 2 : Elaboration du diagnostic
3.2.1 Objectifs

L’objectif est de réaliser un diagnostic partagé de la politique publique. Celui-ci

comprend :
- un état des lieux ;
- une présentation des objectifs affichés par les différents acteurs et des priorités que
ceux-ci assignent à cette politique ;
- une analyse prospective des besoins des usagers ;
- une appréciation de l’efficacité de l’intervention publique au regard de ses différents
objectifs (explicites ou implicites), du partage des compétences entre acteurs et de la
qualité de leur partenariat ;
- une appréciation de son efficience.
Ce diagnostic doit, en outre, conduire à définir par ordre de priorité les objectifs à
assigner à la politique évaluée.
Enfin, des orientations seront proposées de façon à dessiner les grandes évolutions
souhaitables.

3.2.2 Modalités

Qui ?
Les travaux sont dirigés par le responsable opérationnel de la phase de diagnostic
missionné par le ministre lors de la première étape.

Comment ?
Le responsable opérationnel fait en sorte que les principaux acteurs et bénéficiaires de
la politique soient associés à l’élaboration du diagnostic selon les techniques de consultation
ou de concertation les plus adaptées (cf. supra point 2.2 et fiche pratique n° 3).
Groupes de travail : précautions de méthode
Les délais, notamment lors des premières vagues d’évaluation, ne permettent pas d’envisager de nombreuses
réunions par groupes de travail thématiques ou territoriaux. Il peut être décidé de ne réunir ces groupes qu’une
seule fois, ce qui implique de bien préciser le produit attendu en fin de réunion.
Les thèmes étudiés par chaque groupe de travail sont présentés sous forme de questions précises. Une
méthodologie transparente et uniforme est nécessaire dans le cas de la réunion simultanée de groupes
territoriaux.
Il est déconseillé de constituer une vaste instance de concertation rassemblant tous les acteurs.

Le responsable opérationnel sollicite toute contribution utile, notamment auprès des

acteurs représentés au Comité de pilotage. En cas de difficulté, il fait appel au coordinateur.

23
 La mobilisation des administrations (de l’Etat, des collectivités, de la sécurité
sociale…) peut être facilitée par le rôle d’aiguilleur des secrétaires généraux des ministères et
la désignation par les responsables d’administration de référents en leur sein pour orienter les
demandes. Le diagnostic exploite également les expertises, recherches et études entrant dans
le champ considéré.

Exemple de questions à se poser pour élaborer le diagnostic9

Finalités de la politique publique et pertinence au regard des besoins de la population
Les objectifs de cette politique sont-ils clairs ?
Sont-ils compréhensibles pour :
- les citoyens ?
- les bénéficiaires ?
- les acteurs ?
Sont-ils identiques ou cohérents entre les acteurs ?
Sont-ils stables dans le temps ? Plus aléatoires ?
Y a-t-il des finalités non explicites ?
Y a-t-il des contradictions possibles entre certains objectifs ? Entre les objectifs affichés et les
actions effectivement menées ?
Ces objectifs sont-ils mesurables ? Suivis ?
Ces objectifs sont-ils déclinés entre les acteurs ?
Les objectifs de cette politique sont-ils hiérarchisés ? Cette hiérarchisation obéit-elle à une stratégie
cohérente ?
Les priorités affichées sont-elles trop nombreuses ? Irréalistes ?
Y a-t-il incohérence entre l’affichage de priorités, les priorités réellement mises en œuvre et les
moyens qui leur sont affectés ?
Y a-t-il incohérence entre les objectifs de la politique publique et ceux affichés par d’autres ?
Ces objectifs sont-ils justifiés au regard des besoins actuels et futurs de la population ?
Y a-t-il des objectifs devenus non pertients ?
Certains enjeux émergents doivent-ils être pris en compte ?
Faut-il redéfinir les objectifs ou les hiérarchiser différemment au regard des besoins de la population ?
Impact et efficacité de la politique publique
Dans quelle mesure les effets propres de la politique sont-ils conformes à ses objectifs ?
Peut-on isoler correctement l’impact propre de l’intervention publique ?
Quels effets peut-on attribuer à l’intervention publique l’atteinte de ces objectifs ? En l’absence
d’intervention publique quelle serait la situation ?
Quels effets inattendus ou indésirables peut-on attribuer à l’intervention publique ?
Efficience de la politique publique
Les ressources mobilisées par la politique ont-elles été bien utilisées ? Les résultats de la politique
sont-ils à la mesure des sommes dépensées ?
Pourraient-ils être obtenus ou améliorés à moindre coût ?
La répartition des actions entre acteurs est-elle performante ? Le partenariat éventuel entre acteurs est-
il bien défini ? Le partenariat fonctionne-t-il correctement ?
Les modalités d’actions sont-elles adaptées ? performantes ?
Peut-on améliorer la contribution de la politique publique aux objectifs poursuivis ? Comment ?

9
D’autres exemples figurent dans le guide de revue des politiques d’intervention (IGF 2011, rapport n° 2011-
M-006-02)

24
 Délai
L’étape de diagnostic dure trois mois environ.
S’il le juge nécessaire, le responsable opérationnel pourra proposer au coordinateur, en
cours de diagnostic, de redéfinir son champ en cas de périmètre trop large ou trop restreint ou
de problème de frontière au regard des enjeux mis en exergue.
Cette rectification devra être soumise au comité de pilotage. Celui-ci pourra être
consulté selon une procédure écrite, éventuellement par courriel.

3.2.3 Livrables

Il est attendu de cette phase de diagnostic deux documents :

- un rapport d’analyse qui restitue le plus fidèlement possible l’état des lieux ainsi que
les convergences et les débats qui subsistent ; ce document n’est pas normé dans sa
forme ni dans son contenu ;
- un rapport opérationnel, court et normé afin de faciliter la décision, qui présente les
conclusions du responsable opérationnel incluant notamment les priorités hiérarchisées
de la politique évaluée et quelques pistes d’évolution possibles.
Ces deux rapports sont présentés et signés par le responsable opérationnel, qui les
remet au coordinateur. Ils ont vocation à être rendus publics, immédiatement pour le rapport
d’analyse, éventuellement de manière différée pour le rapport opérationnel (cf. infra partie 4).
Ces documents ont également vocation à être repris lors d’un cycle ultérieur pour
servir de point de départ à une nouvelle évaluation.

Structure indicative du rapport opérationnel

Ce rapport doit être court (pas plus de 30 pages) et dégager des orientations de réforme. Il comporte notamment
les points suivants :
A - La politique publique, ses acteurs et ses moyens
B - Finalités de la politique publique : pertinence et cohérence
- objectifs actuels et hiérarchisation proposée
- enjeux émergents à prendre en compte
C - Impact et efficacité de l’intervention publique
- effets bénéfiques et effets indésirables
- contribution des différents instruments aux résultats obtenus
D - Efficience de la politique publique
- bonne utilisation des ressources
- inefficiences liées aux instruments d’intervention
- inefficiences liées à la répartition des compétences entre acteurs et à la qualité du partenariat
E - Propositions
- orientations nouvelles
- pistes d’amélioration
- esquisse d’éventuels scénarios à approfondir

25
 3.2.4 Clôture de la phase de diagnostic

Le rapport analytique et le rapport opérationnel sont présentés au comité de pilotage

qui délibère.
En cas d’insuffisance du diagnostic, le comité de pilotage peut proposer de poursuivre
les travaux d’expertise sur une période complémentaire. Il est préconisé de n’utiliser cette
option que dans des situations l’exigeant manifestement.
Si un délai supplémentaire est décidé par le ministre au vu des rapports produits et de
l’avis du comité de pilotage, une nouvelle lettre de mission explicite les raisons de la
prolongation des travaux de diagnostic et la nature des expertises complémentaires en fixant
un nouveau calendrier précis.

26
3.3 Etape 3 : Cadrage des hypothèses de scénarios à approfondir
3.3.1 Objectifs

Cette étape consiste à définir des hypothèses de scénarios qui feront l’objet d’une
étude détaillée lors de l’étape suivante. Il est souhaitable d’en limiter le nombre. Ces
hypothèses intègrent des éléments de cadrage financier.
Le ministre peut décider, après avoir entendu les membres du comité de pilotage, de
retenir les scénarios esquissés dans le rapport opérationnel, en tout ou partie, ou d’en formuler
d’autres.
Dans le cas où le diagnostic issu de la précédente phase est incomplet, le ministre peut
décider de faire porter la préparation des scénarios sur un segment de la politique seulement.
Les sujets qui nécessitent un travail plus long pourront être repris lors d’un prochain cycle
d’évaluation.

3.3.2 Modalités

Qui ?
La formulation des scénarios est réalisée par le coordinateur et soumise au comité de
pilotage. Ces propositions de scénarios sont transmises au secrétariat du CIMAP.
Les scénarios à approfondir sont arrêtés par le ministre chef de file, après arbitrage du
Premier ministre si nécessaire. Cette décision se traduit par une nouvelle lettre de mission.

Délai : La durée de cette phase devrait être de l’ordre d’un mois.

3.3.3 Livrables

Cette étape se traduit par la rédaction d’une lettre de mission précisant les hypothèses
de scénarios à approfondir. Elle s’adresse au responsable opérationnel désigné pour ce faire,
lequel peut ne pas être celui qui avait en charge le diagnostic. Elle précise s’il doit conduire
des consultations complémentaires.
Exemple de lettre de mission au responsable opérationnel (deuxième phase)
Vous avez accepté d’être désigné comme responsable de l’approfondissement des scénarios dans le cadre de
l’évaluation de la politique relative à XXXX, ce dont je vous remercie.
Au vu des rapports remis le XX/2013 à l’issue de la phase de diagnostic, j’ai décidé d’approfondir X hypothèses
de scénarios dont vous trouverez les détails en annexe. Il vous appartient d’en préciser les modalités techniques
et les divers impacts, le cas échéant, en analysant les difficultés de mise en œuvre de ces différentes hypothèses
et les coûts d’accompagnement à envisager.
[Option] [Vous recueillerez l’avis des partenaires suivants (...) ; vous organiserez en liaison avec le secrétaire
général une consultation des organisations syndicales représentatives (…)]
Vous me remettrez pour le XX/XX/2013 un dossier de synthèse qui précisera les avantages et inconvénients de
chacun des scénarios et leurs conditions de mise en œuvre.

27
3.4 Etape 4 : Approfondissement et appréciation des scénarios
3.4.1 Objectifs

Cette étape est consacrée à préciser les modalités techniques et les divers impacts de
chacun des scénarios retenus par le ministre. Les conséquences sur l’organisation des services
et les personnels de chaque scénario et, le cas échéant, de chaque variante, sont précisément
déterminées. Selon les termes de la lettre de mission, certains acteurs et bénéficiaires de la
politique évaluée peuvent être consultés.

3.4.2 Modalités

Qui ?
Le responsable opérationnel désigné par la lettre de mission du ministre (cf. étape 3)
est le maître d’œuvre de cette étape.

Comment ?
Pour ce qui concerne les conditions de mise en œuvre relatives à l’organisation des
services de l’Etat et de ses opérateurs, il peut s’appuyer sur le secrétaire général du ministère
chef de file. S’agissant des incidences sur les services des collectivités territoriales, il travaille
conjointement avec les associations représentatives de collectivités territoriales. De même, il
se tourne vers les autorités compétentes des organismes de protection sociale si le sujet le
requiert.

Exemple de questions à poser pour l’approfondissement des scénarios

Analyse des évolutions induites par chaque scénario
Pour chacun des acteurs :
Suppression de certaines missions ?
Ajout de nouvelles missions ?
Externalisation ?
Refonte des process et des outils ?
Evolution de certains métiers ?
Refonte des modalités d’intervention ?
Refonte des structures et des organisations ? …
Une nouvelle répartition des compétences entre acteurs est-elle nécessaire ?
Les modalités du partenariat doivent-elles évoluer ? En quoi ?
Appréciation de l’impact des différentes évolutions induites par chaque scénario
Impact en termes de pertinence de l’action publique ?
Effet en termes d’amélioration des partenariats ?
Meilleure efficacité ?
Réduction des coûts ? Augmentation des coûts ?
Plus grande efficience ?...

28
 Besoins d’accompagnement liés à chaque scénario
En termes de :
Gestion du changement ?
Formation professionnelle ?
Communication ?...
Coût de cet accompagnement ?
Faisabilité et appréciation des risques potentiels de chaque scénario
Durabilité des économies induites et des évolutions envisagées :
Par rapport aux moyens prévisionnels ?
Par rapport aux enjeux ?
Par rapport au facteur temps ?
Faisabilité :
Par rapport aux délais possibles d’évolution, notamment en matière de ressources humaines ?
D’édiction des normes ? D’évolution des compétences des agents notamment ?
Acceptabilité (résultat des consultations, le cas échéant) :
Acceptation ? Réserves ? Explicitation des réserves et oppositions.
Conditions d’acceptation ? Faisabilité et conséquences de ces variantes ?
Propositions d’amélioration des scénarios ?

Délai
La durée de cette phase devrait être de l’ordre de deux mois.

3.4.3 Livrables

A l’issue de cette phase, un dossier de synthèse est remis au ministre.

Contenu indicatif du dossier de synthèse
Le dossier de synthèse comporte :
- une fiche type par scénario comportant les éléments synthétiques suivants :
descriptif du scénario et de ses variantes ;
justification de ce scénario ;
bilan coûts/avantages ;
faisabilité, acceptabilité ;
risques éventuels ;
mesures d’accompagnement à prévoir et coûts correspondants ;
- des éléments d’appréciation synthétique permettant de classer les scénarios en fonction de leur bilan coûts-
avantages-faisabilité, voire d’en combiner éventuellement certains ;
- le résultat des consultations demandées par la lettre de mission.

3.4.4 Clôture de la phase de d’approfondissement des scénarios

Le dossier de synthèse est présenté en comité de pilotage qui délibère sur les scénarios
proposés. L’étape d’approfondissement est alors terminée ainsi que la mission du responsable
opérationnel de cette seconde phase.

29
3.5 Etape 5 : Décision
3.5.1 Objectif

Cette dernière étape doit permettre de retenir un scénario et de bâtir un plan d’action
pour la mise en œuvre des mesures annoncées.
Le choix du scénario par le ministre chef de file, en vue de discussions
interministérielles puis d’une validation en CIMAP, peut être précédé, à sa convenance, d’une
phase de consultation avec les partenaires et les représentants du personnel.
Cette consultation sera d’autant plus aisée que les représentants du personnel auront
été régulièrement informés du déroulement de la démarche (dialogue informel, groupe de
travail, information avec débat lors des comités techniques…).

3.5.2 Modalités

Après remise du dossier de synthèse, le ministre affine son choix entre les différents
scénarios. Si des arbitrages interministériels sont nécessaires sur des points particuliers, ils
sont préparés par le SGMAP.
Un scénario est arrêté en CIMAP.
Les ministres concernés préparent un plan d’action permettant la mise en œuvre de la
réforme, en lien avec les acteurs concernés. Ce plan prévoit notamment les moyens financiers
et humains nécessaires à sa mise en œuvre. Il convient, en effet, d’éviter l’écueil souvent
rencontré par le passé d’une prise de décision qui laisse gérer l’accompagnement du
changement par les différentes parties selon les moyens qu’elles peuvent ou acceptent d’y
consentir.

30
4 La communication pendant la démarche

La communication est essentielle pendant tout le processus d’évaluation. L’une des

finalités des évaluations de politiques publiques partenariales est, en effet, de faire partager
aux acteurs, aux usagers mais également aux citoyens les enjeux des différentes politiques
publiques, leur évolution potentielle ainsi que leur coût pour la collectivité.
L’information sur le déroulement du processus doit être factuelle, synthétique et
aisément disponible, notamment via le site interministériel géré par le SGMAP qui donne une
visibilité à la démarche d’évaluation.
Cette plateforme peut également constituer un point d’entrée pour les contributions
écrites du public, sans que ce dispositif soit exclusif. Selon les options choisies au cours de la
démarche de diagnostic, cette plateforme peut enfin être utilisée pour organiser des forums
ouverts au public sur la base d’un questionnement précis établi par les responsables
opérationnels.

Communication externe
Lors des étapes de décision ministérielle (étape 1 : rédaction de la lettre de mission ;
étape 3 : choix des scénarios à approfondir ; étape 5 : choix du scénario retenu), la
communication est de nature politique et appartient au ministre dans le cadre des orientations
gouvernementales.
La lettre de mission au responsable opérationnel du diagnostic est rendue publique. Le
rapport d’analyse a vocation à être diffusé largement, voire placé sur la plateforme
interministérielle. Une information des instances représentatives du personnel, nationales et
locales, sur ce document, est recommandée. La diffusion du rapport opérationnel peut être
différée soit au moment où le ministre rend publiques les hypothèses de scénarios choisies,
soit à la fin de l’étape d’approfondissement des scénarios. Si la phase de diagnostic est
prolongée, cette information est diffusée via la plateforme interministérielle.
La communication externe se fait à l’occasion du CIMAP qui valide le scénario arrêté.
Le ministre peut ensuite préciser les grandes lignes du plan d’action envisagé.

Communication interne
La communication interne revêt une importance particulière. Elle est supervisée par
les secrétaires généraux des ministères. Une information régulière des représentants du
personnel doit permettre de donner du sens au processus d’évaluation, de faire remonter au
ministre les craintes exprimées par les agents et d’anticiper les différentes mesures
d’accompagnement qui seraient nécessaires selon le scénario retenu.
Le plan d’action et les mesures d’accompagnement de la réforme font l’objet d’une
concertation avec les représentants du personnel. Ils font ensuite l’objet d’une large
information du personnel.

31
32
Fiches techniques

FICHE N° 1. ENSEIGNEMENTS DE TRAVAUX APPARENTES A UNE EVALUATION DE POLITIQUES

PUBLIQUES................................................................................................................................ 35
FICHE N° 2. PILOTAGE D’EVALUATIONS DE POLITIQUES PUBLIQUES : QUELQUES ILLUSTRATIONS . 40
FICHE N° 3. MODALITES D’ASSOCIATION DES PARTIES PRENANTES .................................................. 47
FICHE N° 4. « QUI FAIT QUOI ? » : RECAPITULATIF PAR ETAPE.......................................................... 51
FICHE N° 5. GLOSSAIRE........................................................................................................................ 53

33
34
 Fiche n° 1. Enseignements de travaux apparentés à une évaluation de politiques
publiques

Cette fiche montre une diversité d’exercices « apparentés à » une évaluation de politique, c’est-
à-dire qui en empruntent certains traits sans constituer exactement la même démarche. Des
enseignements intéressants peuvent en être tirés à la fois pour bien cerner la spécificité de l’exercice
d’évaluation visé dans le cadre de la MAP et pour leur emprunter des questionnements et des
méthodes déjà éprouvés.

Les travaux du Conseil d’orientation des retraites (COR)

L’expérience du COR est intéressante pour la modernisation de l’action publique : issue du

rapport sur l'avenir des retraites de la commission Charpin (1999) cette instance était une de celles par
lesquelles, sous l'égide du Commissariat général du plan, le Premier ministre entendait mobiliser
l'expertise et organiser la concertation sur les grands enjeux socio-économiques. De fait, elle constitue
en elle-même un outil d'évaluation continue, rétrospective et prospective, articulée à la décision
publique, même si elle a montré ses limites lors de la réforme de 2010. Son incontestable contribution
à une pédagogie de la réforme s’inscrit dans un temps long et dans une continuité de travaux.
Créé en 2003 par la loi portant réforme des retraites, le COR est une structure pluraliste et
permanente placée auprès du Premier ministre, qui comprend, « outre son président nommé en conseil
des ministres, « des représentants des assemblées parlementaires, des organisations professionnelles,
syndicales, familiales et sociales les plus représentatives et des départements ministériels intéressés,
ainsi que des personnalités qualifiées ». Au total, 39 membres (dont 8 parlementaires, 16 représentants
des organisations professionnelles et syndicales, 6 représentants de l'Etat, 6 personnalités qualifiées).
Le COR a pour mission de suivre les évolutions et les perspectives à moyen et long termes des
régimes de retraite obligatoires, sur la base des évolutions économiques, sociales et démographiques,
de réfléchir aux conditions requises pour assurer la viabilité financière de ces régimes, et de formuler
toute recommandation à cet égard.
S’il destine au Premier ministre le rapport d'ensemble qu’il doit réaliser au moins tous les deux
ans sur la situation des régimes de retraite, il a aussi vocation à nourrir le débat public sur ces sujets.
Il s’appuie concrètement sur un secrétariat général permanent qui assure l'organisation des
travaux du Conseil et l'établissement de ses rapports ou avis, ainsi que sur toutes contributions
extérieures nécessaires pour mener des études sur des sujets complexes. La loi dispose que « les
administrations de l'Etat, les établissements publics de l'Etat et les organismes chargés de la gestion
d'un régime de retraite légalement obligatoire ou du régime d'assurance chômage sont tenus de
communiquer au Conseil d'orientation des retraites les éléments d'information et les études dont ils
disposent et qui sont nécessaires au conseil pour l'exercice de ses missions. Le Conseil fait connaître
ses besoins afin qu'ils soient pris en compte dans les programmes de travaux statistiques et d'études de
ces administrations, organismes et établissements. »
L’expérience montre que le COR a fortement contribué à l’appropriation collective du
diagnostic financier et démographique sur les régimes de retraite et des enjeux de leur réforme. Ses
travaux éclairent les rendez-vous désormais réguliers en matière de retraites (le prochain étant prévu
en 2013).
Pourtant, ce lieu de dialogue et de construction d’un diagnostic partagé a montré ses limites
quand il a fallu au début de l’année 2010, instruire précisément des mesures de réformes que ne
pouvaient pas accepter la plupart des représentants des parties prenantes. Le "dossier technique" relatif
à ces mesures a été publié sous la responsabilité de son seul président sans valoir propositions de
réforme de la part du Conseil.

35
 La loi portant réforme des retraites de novembre 2010 a mis en place un comité de pilotage des
régimes de retraite (COPILOR) destiné à suivre la mise en œuvre de la réforme et de certains
indicateurs essentiels des régimes de retraite. Présidé par un ministre (et non pas un haut
fonctionnaire), ce Comité comprend les mêmes institutions que celles présentes dans le COR.
La réforme des retraites illustre bien la question de l’articulation non seulement entre
l’expertise, la concertation et le portage de la réforme, mais aussi entre les services d’évaluation et de
prospective et les services en charge de la conception et du pilotage des politiques publiques.

Le Livre blanc de la défense (2008 et travaux en cours pour 2013)

Cet exercice de réflexion prospective relatif à la politique de défense et de ses moyens

présente plusieurs spécificités : un temps relativement long accordé au diagnostic (7 mois), une
politique qui appelle une programmation de long terme et une méthode participative limitée à des
acteurs de l’Etat et à des experts. Pour autant, certains choix méthodologiques ne sont pas sans rapport
avec une revue de politique ; on relève ainsi :
- la mise en place de sept groupes de travail thématiques ; la préparation du Livre blanc de
2013, qui consiste surtout en une actualisation du précédent, s’appuie davantage sur un
ensemble de travaux documentaires disponibles ;
- l'importante équipe de rapporteurs issue de plusieurs ministères et la coordination
interministérielle des administrations par le Secrétariat général à la défense nationale
(SGDN) ;
- la forte proportion de personnalités qualifiées et, en revanche, la faible participation de la
hiérarchie militaire pour la préparation du Livre blanc 2008 ; en 2012 cependant, les
administrations sont davantage impliquées ;
- le souci de transparence tout au long de l'exercice de diagnostic avec, là encore, des modalités
évolutives entre les Livres blancs de 2008 et de 2013. Pour le premier, nombreuses auditions
publiques (retransmises par les chaines parlementaires) avec les acteurs de terrain (militaires,
policiers, agents de la sécurité civile...), partis politiques, représentants de la société civile
(ONG, journalistes, philosophes, représentants des religions), responsables européens,
spécialistes de géopolitique et création d’un site Internet comportant des forums thématiques
(dissuasion nucléaire, lien armée-Nation, relations avec l’OTAN ...). L’actualisation en cours
du Livre blanc de 2008 a prévu, outre une communication sur le site du Gouvernement, la
possibilité pour tout citoyen d’adresser une contribution ainsi qu’un dispositif d’information /
consultation pour le personnel de la défense via l’Intranet (Intradef) ;
- l'association étroite du Parlement fondée à la fois sur sa représentation au sein de la
commission chargée de l’élaboration du Livre Blanc (en 2012 sont adjoints aux quatre
parlementaires désignés par leurs assemblées respectives les présidents de la commission de la
défense de l’Assemblé nationale et de la commission des affaires étrangères au Sénat) et sur
des échanges avec les commissions concernées des deux assemblées;
- un document final volumineux (300 pages incluant le relevé des débats), public, mais
relativement imprécis en termes budgétaires par rapport à ce qui pourrait être recherché dans
le cadre des évaluations de politiques partenariales. Le Livre Blanc de 2008 ne fournit pas des
scénarios mais des orientations, la préparation de la loi de programmation militaire 2009-2014
apportant en quelque sorte un prolongement plus opérationnel à l’exercice. Le Livre blanc
2013 sera probablement plus précis que le précédent.

36
 Les travaux préparatoires à la conférence nationale de lutte contre la pauvreté

Proposée lors d’une rencontre organisée en septembre 2012 entre le Premier ministre et les
membres du Conseil national des politiques de lutte contre la pauvreté et l’exclusion sociale (CNLE),
une conférence nationale sur la pauvreté a été programmée les 10 et 11 décembre. Destinée à poser les
bases d'un plan pluriannuel en matière de lutte contre la pauvreté, cette conférence a fait l’objet durant
deux mois d’une préparation interministérielle fondée sur sept groupes de travail thématiques placés
chacun sous l’autorité d’un ministre chef de file :
- accès aux droits et aux biens essentiels, minima sociaux ;
- logement et hébergement ;
- emploi, travail et formation professionnelle ;
- familles vulnérables, enfance, éducation ;
- santé et accès aux soins ;
- inclusion bancaire et lutte contre le surendettement ;
- gouvernance des politiques de solidarité.
Chacun de ces groupes, présidé par une ou des personnalités qualifiées issues de
l’administration ou du mouvement associatif, a réuni les parties prenantes de ces politiques :
administrations de l'Etat, collectivités territoriales, opérateurs et organismes de protection sociale,
associations, partenaires sociaux, banques et entreprises (soit environ 15-20 personnes dans chaque
groupe). A côté des représentations associatives, ont participé à ces groupes de travail des usagers
(deux par groupe) désignés avec le concours du CNLE et ayant bénéficié d’une séance de formation.
La composition des groupes de travail, comme les lettres de mission, ont été rendues publiques.
Les rapports que doivent remettre les présidents de ces groupes (sous leur seule responsabilité) ont
vocation à l’être au moment de la tenue de la conférence.
Soulignons qu’il s’agit avant tout d’une démarche de dialogue et d’orientation politique
concernant les dispositifs d’intervention et leur pilotage.
Le mandat confié à chaque groupe était large, la liberté d’organisation réelle, les éventuelles
propositions exemptes d’un cadrage budgétaire a priori.

Exercices d’évaluation des inspections générales ou directions de l’évaluation

Les départements ministériels chargés de l’évaluation de même que les inspections générales
ministérielles ou interministérielles réalisent certains travaux qui s’approchent d’une évaluation des
politiques publiques, dont le champ est généralement restreint à certains instruments ou certains
objectifs de ces politiques. On peut citer à titre d’exemples récents :

L’évaluation de la politique de soutien à la production de logements sociaux Outre-mer

Réalisé par le ministère des Outre-mer et le département de l’évaluation des politiques
publiques et de la prospective de la délégation générale à l’outre-mer, cet exercice mené en 2011-2012
est consacré à une thématique apparue prioritaire au terme d'une analyse d'ensemble des interventions
de l'Etat Outre-mer. Il prend place parmi une cinquantaine d'évaluations qui constituent le programme
triennal d'évaluation de politiques publiques de ce ministère. Il a été structuré autour des cinq
problématiques évaluatives posées par le cahier des charges :
- mesure de l’effectivité et de l’efficacité de la production de logements sociaux ;
- procédures administratives et moyens techniques, humains et financiers mobilisés ;

37
 - cohérence stratégique du système (identification des logiques d’action et d’acteurs, adéquation
des stratégies et décisions prises, gouvernance de la politique) ;
- cohérence opérationnelle du système de production de logements sociaux (articulation entre les
dispositifs d’aide au niveau du foncier et du bâti ; facteurs d’attractivité de la défiscalisation du
logement social ; équilibre de la répartition de l’aide publique entre les différents dispositifs de
production ; disponibilité des moyens mobilisés pour absorber les besoins identifiés en
logements sociaux neufs) ;
- efficience comparée de la défiscalisation et de la subvention dans la production du logement
social neuf.
Pour chacune de ces rubriques, le « rapport exécutif », qui complète un rapport analytique qui
expose la totalité des travaux évaluatifs, fournit au commanditaire constats, facteurs d’explication et
recommandations.

L’évaluation des dépenses fiscales et des niches sociales

Le rapport présenté en juin 2011 par Henri Guillaume, inspecteur général des finances
honoraire, émane d’un comité d’évaluation réunissant les administrations et corps d’inspection et de
contrôle concernés, qui a passé en revue plus de 500 mesures (représentant un peu plus de 100 Md€)
afin de fournir un éclairage sur leur coût et, quand les données nécessaires étaient disponibles, sur leur
efficacité. Ce travail inclut une évaluation approfondie de cinq sous-ensembles de mesures
dérogatoires (choisies par les ministres parmi les propositions du comité). Le comité s’est en revanche
abstenu de présenter des scénarios d’évolution ou de suppression des mesures étudiées et le rapport ne
comporte en conséquence aucune proposition de cette nature.
Le questionnement et sa restitution visaient à déterminer si l’intervention publique était
justifiée au regard de son coût et de ses effets, selon une méthode proche de celle employée par
l’Allemagne et le Royaume-Uni dans des exercices similaires (cf. encadrés ci-dessous).

Rubriques des fiches d’évaluation des dépenses fiscales et des niches sociales examinées10 :
IDENTITE DE LA DEPENSE
- Description juridique et technique.
- Historique du dispositif.
- Recensement des autres dispositifs concourant au même objectif.
CHIFFRAGE DE LA MESURE ET IDENTIFICATION DES BENEFICIAIRES
- Norme fiscale de référence par rapport à laquelle est effectué le chiffrage.
- Evaluation du coût de la mesure.
- Analyse des modalités de chiffrage.
- Nombre et caractéristiques des bénéficiaires.
EVALUATION
- Taux de recours au dispositif.
- Atteinte des objectifs, notamment : ciblage, capacité à produire l’effet incitatif et/ou l’effet redistributif
et/ou l’effet économique indirect recherchés.
- Nécessité et proportionnalité du dispositif.
- Impacts : existence de distorsion de concurrence, créations d’inégalités.
- Coût de gestion.
- Contentieux généré, niveau de surveillance exercé.
- Comparaisons internationales disponibles.

10
Rapport du Comité d’évaluation des dépenses fiscales et des niches sociales, Juin 2011.

38
 Les critères de l’efficacité, de l’efficience et de la pertinence des mesures examinées11 :
SUR LE CIBLAGE DE LA MESURE :
- La mesure est-elle correctement ciblée ?
- Le dispositif bénéficie-t-il à tous les contribuables visés ?
- Est-il capté par des intermédiaires ?
- Quelle lisibilité ? Quelle homogénéité d’application ?
SUR L’EFFICIENCE DE LA MESURE :
- Quelle complexité cette mesure entraine-t-elle dans la compréhension de la règle fiscale par les
contribuables ?
- Quelles conséquences la mesure a-t-elle sur les dépenses de recouvrement et de contrôle des services
fiscaux et des URSSAF ?
- Quelles distorsions la mesure introduit-elle par rapport aux principes d’équité horizontale ou verticale de
l’impôt considéré ?
SUR LA POSSIBILITE DE RECOURIR A UN AUTRE INSTRUMENT :
- Quels sont les avantages comparatifs de cette mesure par rapport à une dépense budgétaire ou à une autre
mesure non financière (en termes d’efficacité, de coût de gestion, de contrôle, de maîtrise des coûts…) ?

L’évaluation du cumul emploi-retraite

Pour la partie de ce travail qui concernait la mesure de l’impact financier du cumul emploi-retraite sur
les régimes de retraite, la mission de l’IGAS s’est appuyée non seulement sur un modèle théorique
d’équilibre de ces régimes mais aussi sur la définition de cas-types (reflétant les choix des retraités) et
sur des simulations selon ces hypothèses.

Les travaux d’évaluation du Parlement

Le Comité d'évaluation et de contrôle de l'Assemblée nationale produit également un certain

nombre de rapports, tel celui relatif à « l'évaluation de la performance des politiques sociales en
Europe »12 (décembre 2011), qui comporte :
- une interrogation sur la pertinence et l'efficacité de quelques politiques, en s'appuyant fortement
sur des comparaisons européennes ;
- une approche transversale des questions (lien protection sociale - emploi en particulier) ;
- une « maille » choisie pour les trois politiques étudiées qu’on pourrait qualifier de modérément
large puisqu’il s’agit de la politique d'accompagnement des demandeurs d'emploi, de la politique
de conciliation vie familiale-vie professionnelle et de la politique en direction des familles
monoparentales (autrement dit, deux segments de la politique familiale) ;
- des conclusions opératoires pour faire évoluer les politiques étudiées, notamment pour la
politique d'accompagnement des demandeurs d'emploi et la place respective des efforts de
formation professionnelle ou d'accompagnement individuel.

11
Rapport du Comité d’évaluation des dépenses fiscales et des niches sociales, op. cit.
12
Rapport d’information n° 4098, déposé au nom du comité d’évaluation et de contrôle des politiques publiques de
l'Assemblée nationale sur « l’évaluation de la performance des politiques sociales en Europe », présenté par MM. Michel
Heinrich et Régis Juanico, députés, décembre 2011.

39
 Fiche n° 2. Pilotage d’évaluations de politiques publiques : quelques illustrations

Les illustrations suivantes montrent la diversité des schémas de gouvernance retenus, dans le
respect cependant d’une même logique. Elles montrent aussi que le processus de pilotage d’une
évaluation et ses modalités d’ouverture aux parties prenantes dépendent de la finalité de
l’exercice.

Gouvernance des program reviews au Canada (1994-1996)13

Cet exercice était centré sur une finalité claire : la redéfinition des partages de compétences
entre Gouvernement fédéral et Provinces (mais aussi secteur privé et société civile), autrement dit, la
révision du périmètre des missions des administrations fédérales, « en se focalisant moins sur les
coupes à opérer que sur ce qu’il convenait de préserver ».
Chaque ministre a reçu un mandat précisant sa responsabilité dans la conduite d’une
évaluation des programmes de son ressort, sur la base d’un cadrage méthodologique commun.
Simultanément, une communication a été diffusée par le secrétariat interministériel à tous les
directeurs d’administration centrale sur ce qui était attendu d’eux.
Le souci d’un lien direct et fort entre ministres et directeurs d’administrations centrales a été
affirmé afin de réduire le risque d’une double déresponsabilisation : des ministres arguant de la
résistance de leur administration et des directeurs arguant du refus d’agir de leurs ministres.
Dans chaque ministère a été désigné un coordonnateur de l’évaluation de programme, chargé
de la coordination des travaux dans son secteur, de l’interface avec d’autres domaines d’évaluation
connexes et de la liaison avec le secrétariat interministériel.
Si le format des documents devant résulter de la revue était normé, en revanche une grande
liberté a été donnée aux ministères quant à leurs modalités de travail, compte tenu de la diversité des
missions, contextes et mandats. Qui associer, à quelle échelle consulter, comment préparer les
propositions, autant d’aspects de la méthode qui ont varié selon les départements ministériels, certains
ouvrant largement l’exercice tandis que d’autres procédaient à un examen en interne, certains
s’appuyant sur un matériau d’études et de statistiques déjà abondant tandis que d’autres n’en
disposaient pas.
Le document de conclusions et de propositions pour chaque programme a été soumis à une
triple validation :
- par un comité de pilotage composé de chefs d’administration centrale, sorte de comité des pairs
(peer review) ;
- par un comité interministériel spécial chargé d’examiner les propositions et de construire un
consensus politique ; ce comité s’est appuyé sur le principe tactique selon lequel « rien n’est
décidé tant que tout n’est pas décidé », qui visait à éviter que certains départements ne
s’exonèrent d’efforts et à protéger ceux qui avançaient rapidement des propositions
ambitieuses ;
- par le Gouvernement tout entier et le Premier ministre pour arbitrer les principaux différends et
assurer l’équilibre général et la cohésion gouvernementale.

13
Jocelyne Bourgon, Programme Review: The government of Canada’s experience eliminating the deficit, 1994-
99: a Canadian case study, London Institute of Government, 2009.

40
 Les cibles budgétaires ont été introduites tardivement dans l’exercice et non à son
commencement, au motif que « des cibles de réduction de dépenses posées a priori engendreraient
des réductions de dépenses mais pas des révisions de missions ».

Les six questions de la revue de programme canadienne

Les « tests » auxquels ont été soumis les programmes d’intervention fédéraux reposaient sur six grandes
questions :
1 - Le programme ou l’activité continuent-ils à servir l’intérêt général ?
2 - Le rôle du Gouvernent dans ce domaine d’intervention est-il légitime et nécessaire ?
3 - Le rôle actuel du Gouvernement fédéral dans ce programme est-il adapté ou faut-il envisager un nouveau
partage des compétences avec les provinces ?
4 - Quelles actions devraient ou pourraient être transférées en tout ou en partie au secteur privé, notamment
associatif ?
5 - Si le programme ou l’action se poursuit, comment son efficience peut-elle être améliorée ?
6 - L’ensemble des programmes et actions résultant de cet exercice est-il compatible avec les limites
budgétaires ? Si tel n’est pas le cas, quelle partie du programme doit être abandonnée ?

Evaluation des politiques mises en place par la ville de Nantes14

L’évaluation mise en place par la municipalité de Nantes depuis 2004 est pilotée et animée par
un service dédié (la mission évaluation, composée de trois personnes) qui travaille en lien étroit, d’une
part avec les différentes directions municipales (personnes ressources désignées dans chacune), d’autre
part avec les élus (l’adjoint en charge des finances et du dialogue citoyen suit aussi spécifiquement les
démarches d’évaluation).
Cette démarche est marquée par sa visée démocratique, qui conduit à systématiquement
croiser les regards des professionnels et des usagers (usagers réels mais aussi public cible non atteint).
Cette dimension partenariale s’applique à l’élaboration des outils d’évaluation (liste des questions
évaluatives, questionnaires) comme à la collecte des informations et analyses sur les besoins et sur la
qualité de réponses des services publics.
Par exemple, l’évaluation de l’accueil des jeunes enfants par des assistantes maternelles
agréées s’est fondée sur des diagnostics locaux complétés par un sondage téléphonique auprès de 400
familles, une enquête postale exhaustive auprès des 1 256 assistantes maternelles, une quinzaine
d’entretiens individuels menés avec des parents ne parvenant pas à trouver un mode de garde, et quatre
tables rondes. Un ensemble très riche d’initiatives ad hoc de consultations et d’enquêtes peut être
déployé sur une politique lorsqu’il s’agit d’identifier les raisons pour lesquelles elle ne touche pas
certains groupes de populations visés (exemple de l’évaluation de la politique de la lecture, cf. encadré
infra).
De même, en fin d’exercice, les résultats de l’évaluation sont discutés avec les partenaires et
les professionnels concernés auxquels sont aussi présentées les préconisations envisagées par le comité
de pilotage (avec possibilité de les ajuster ou de les hiérarchiser).
Cette ouverture se traduit dans les schémas de gouvernance mis en place, notamment sous la
forme de « comités de suivi » où sont représentés les partenaires institutionnels et les professionnels.
La gouvernance qui en résulte peut être relativement lourde et complexe.

14
F. Fenet et A. Daniel, « L’importance de la prise en compte des besoins et attentes de la population dans les
évaluations » In Méthodes d’évaluation des politiques publiques, Actes du séminaire, DREES, Etudes et
Statistiques, Mai 2011

41
 L’évaluation porte de manière privilégiée sur les domaines stratégiques à forts enjeux en
termes de besoins sociaux et d’attentes ou bien sur les actions autour desquelles ont été repérées des
faiblesses, par exemple : l’accueil des jeunes enfants à domicile par les assistantes maternelles agréées
(évaluation menée avec le Conseil général et la CAF dans un objectif d’amélioration de la qualité de
réponse aux besoins), les actions en matière d’accueil de la petite enfance susceptibles de lever les
freins à l’emploi ou encore la politique de la lecture (dont l’évaluation associait les bibliothèques
municipales et diverses structures associatives actives auprès de publics spécifiques éloignés de la
lecture).
L’évaluation est ainsi conçue comme un levier de gouvernance d’une politique partenariale
locale.

Dispositif de pilotage de l’évaluation de l’accueil à domicile par les assistantes maternelles

Source : Méthodes d’évaluation des politiques publiques, Actes du séminaire, DREES, Etudes et Statistiques,
Mai 2011.

42
 Dispositif de pilotage de l’évaluation des actions en matière d’accueil de la petite enfance
susceptibles de lever les freins à l’emploi, ville de Nantes

Partenaires Comité de pilotage Equipe projet

UDAF, Croix Rouge, Elus + DG des Direction Petite enfance +
PLIE, ADT, etc. politiques sociales + Direction Action
directrice de projet sociale/Insertion + Mission
Evaluation

Information sur lancement Portage de la Conduite du projet : animation,

de la démarche, partage politique publique, validation suivi du prestataire, organisation
résultats et préconisations de la commande, pilotage, de la collecte de données, mise en
arbitrage des préconisations débat des résultats, partage des
préconisations.
Instance d’évaluation
Equipe et directrice de projet
CAF + Conseil général + Maison de
l’emploi + Mission locale + Pôles de
proximité Nantes Métropole + Expert

Formulation des questionnements, construction

des outils d’enquête, validation des résultats et
des préconisations.

Groupe de suivi emploi (sous l’autorité

de la Maison de l’emploi et de la Groupe de suivi petite enfance (sous
direction de l’insertion de la Ville) l’autorité de la direction Petite
Mission locale, Pole Emploi, Conseil enfance) :
général, chargés de quartier, etc. Relais Assistantes maternelles, etc

Complète et amende les éléments de cahier Complète et amende les éléments de cahier
des charges, contribue à l’identification des des charges, contribue à l’identification des
personnes à interroger, discute les résultats, personnes à interroger, discute les résultats,
enrichit les préconisations du prestataire. enrichit les préconisations du prestataire.

Source : Société française de l’Evaluation, « Evaluation et pilotage des politiques partenariales », Atelier n°9 du
Colloque de Nantes des 30 juin et 1er juillet 2011 relatif à l’évaluation des politiques publiques devant les défis
d’une société en tension.

L’évaluation de la politique de la lecture offre un exemple d’association très poussée des

opérateurs, partenaires institutionnels, professionnels et usagers (réels et potentiels). Ce choix se
traduit toutefois par un dispositif de pilotage assez complexe.

43
 Modalités d’association des usagers et professionnels à une évaluation de politique : l’exemple de
l’évaluation de la politique de la lecture par la Ville de Nantes15
• 1ère phase (diagnostic - 5 mois)
Enquête téléphonique auprès de 1100 habitants âgés de 16 ans et plus visant à établir une cartographie sociale
des pratiques de lecture.
Enquête auto-administrée auprès des usagers des lieux de lecture afin de dresser une typologie des usages.
Table ronde rassemblant 12 usagers de la bibliothèque municipale, visant à dégager des pistes d’amélioration.
En parallèle : travail d’analyse des fichiers de gestion de la Ville.
• 2ème phase (diagnostic approfondi - 4 mois)
Travail centré sur des publics spécifiques (entretiens auprès de 12 adolescents, de 15 usagers du CCAS, et de
professionnels en charge de personnes âgées ou de publics éloignés de la lecture repérés par l’enquête
téléphonique.
Table ronde autour de professionnels intervenant sur les temps péri/extra scolaires.
• 3ème phase (Elaboration des préconisations - 1 mois)
Séminaire d’une journée pour appropriation des résultats.
Organisation par le prestataire d’une journée de travail avec 15 professionnels visant à discuter des
préconisations du comité de pilotage, les ajuster ou les hiérarchiser.
• 4ème phase (2 mois)
Mise en débat et arbitrage des propositions d’actions.

Dispositif d’évaluation de la région Nord Pas-de-Calais pour le contrat de projet Etat-Région16

(CPER)

Le pilotage stratégique de l’évaluation est assuré par un « comité de suivi », coprésidé par le
président du Conseil régional et le préfet. Ce comité décide du programme d’évaluation, débat des
modifications à apporter aux politiques contractualisées à la suite des travaux d’évaluation, et examine
le rapport annuel d’évaluation présenté par le comité régional d’évaluation.
Le pilotage opérationnel de l’évaluation est assuré par un « comité régional de l’évaluation ».
Co-présidé par l’Etat (SGAR) et par le Conseil régional (directeur général des services), ce comité
comprend :
- les représentants des services de l’État et du Conseil régional en charge du suivi du CPER ;
- un représentant du Conseil économique et social régional ;
- les représentants des services en charge de l’évaluation de l’État et du Conseil Régional, mais
aussi des deux Conseils généraux (Nord et Pas-de-Calais) ;
- un représentant des services de l’environnement de l’Etat et du Conseil régional ;
- les représentants des gestionnaires de subvention (OSEO notamment) ;
- une personnalité compétente et indépendante, expert extérieur ou universitaire.

15
F. Fenet, A. Daniel, « L’importance de la prise en compte de besoins et attentes de la population dans les
évaluations », op. cit.
16
Cf. Guide pratique de l’évaluation de la région Nord Pas de Calais, 2ème édition, septembre 2009.

44
 Le comité régional de l’évaluation a pour fonctions essentielles d’organiser les modalités de
conduite de l’évaluation, de valider le cahier des charges sur la base duquel sera sélectionné le
prestataire externe (qui mènera concrètement les travaux d’évaluation), d’assurer l’information du
comité de suivi et plus largement de déterminer les modalités de communication des travaux, enfin,
d’analyser les suites données aux recommandations.
Il s’appuie, pour ce faire, sur une « instance technique » constituée pour chaque évaluation.
Celle-ci associe, outre des membres du précédent comité, les services instructeurs des projets
concernés ainsi que les bénéficiaires des actions.
Dans le délai d’un mois après réception du rapport d’évaluation du prestataire, l’instance
technique produit un avis sur l’ensemble du processus et ses résultats : il s’agit d’une validation
opérationnelle des travaux. Le préfet de région et l’exécutif régional reçoivent simultanément cet avis
technique et le rapport d’évaluation qui lui est annexé. Les recommandations proposées par le
prestataire peuvent être acceptées, reformulées ou rejetées.
Ensuite, au cas par cas, l’exécutif régional consulte officiellement les parties prenantes sur les
conclusions et recommandations à travers la transmission du rapport final ou la présentation orale des
certains points clés. La diffusion des résultats de l’évaluation fait donc l’objet d’une décision au cas
par cas même si l’objectif est affirmé de tendre vers une large diffusion, auprès de l’ensemble des
personnes directement ou indirectement concernées.

45
46
 Fiche n° 3. Modalités d’association des parties prenantes

1 La concertation

1.1 Principes

Les modalités de concertation doivent être adaptées aux objectifs et au périmètre de l’action
publique évaluée
Une formule souvent retenue par le passé était de rassembler dans une vaste instance, sorte de
microcosme social, l’ensemble des parties prenantes et de la charger de conduire l’ensemble des
travaux. Satisfaisante dans son principe, elle présente des limites d’ordre pratique et technique :
trouver des participants acceptant une mobilisation de plusieurs mois, définir un ordre du jour en
conciliant la totalité des intérêts, parvenir à des synthèses prenant en compte la diversité des points de
vue. En outre, la durée de leur seule mise en place – même lorsque ces instances peuvent être adossées
à des conseils et commissions existants – est incompatible avec la démarche engagée.
Les options retenues aujourd’hui privilégient les « groupes de travail », centrés sur une
thématique et disposant généralement d’une feuille de route (sous forme de questions simples en
nombre limité), associés à une instance de coordination et de validation des travaux. La composition
de cette dernière doit assurer la pluralité des regards et des points de vue.
Le travail en groupe a deux objectifs : dégager un consensus sur des questions complexes
auxquelles les travaux de recherche et les études techniques ne fournissent pas de réponse univoque ;
permettre l’expression des attitudes et opinions des différents partenaires.
Il peut intervenir au stade du diagnostic sur la base des études disponibles ou au stade des
scénarios d’évolution. Ses modalités sont très variées : il peut s’agir de groupes de discussion ouverte
qui se réunissent périodiquement mais aussi de personnes soumises à un même questionnement et dont
les avis sont recueillis en vue d’une première synthèse soumise ensuite à tous. La technique du
groupe-témoin (d’usagers) est également à retenir : l’objectif est de parvenir progressivement, au-delà
des désaccords immédiats, à une synthèse.
Quelle que soit l’option retenue, la démarche est itérative et permet d’élaborer un document par
amendements successifs.

1.2 Premier exemple : La contribution des acteurs locaux à l’évaluation de la

réhabilitation du logement social17 -

En 1991, une évaluation de la politique de réhabilitation des logements sociaux a associé une
démarche « récapitulative » (appuyée sur une étude statistique) et une démarche « participative ». Pour
mener à bien cette dernière, dix groupes locaux ont été constitués, regroupant les différentes catégories
d’acteurs, chacun des membres disposant d’un mandat personnel du ministre, « pour les intéresser à
participer mais aussi pour les choisir sans provoquer de drame ».
Un cahier des charges commun à tous les groupes a été élaboré prévoyant notamment :
- l’expression de chacun à titre personnel et non au titre d’une institution ;
- le libre choix des modalités de réunion ;

17
Source : Pierre Calame, L’évaluation des politiques publiques et la dynamique d’évolution de l’administration,
note de travail, ministère de l’équipement, décembre 1994.

47
 - une analyse initiale d’opérations de réhabilitation, certaines ayant réussi et d’autres échoué,
introduites dans un contexte global et dans une histoire ;
- la rédaction de fiches de cas normalisées résumant les enseignements de chaque expérience ;
- l’établissement de synthèses (« plateformes ») de moins de dix pages en trois temps : constats
principaux, valeurs fondamentales, propositions d’amélioration.
Une synthèse de toutes les plateformes locales a été établie avec les représentants du ministère
responsable et la démarche s’est conclue par une réunion de bilan avec le ministre.

I.3 Deuxième exemple La participation des habitants à la rénovation de la politique de la

ville18

Une étude récente du Centre d’analyse stratégique, résumée ci-après, donne quelques principes
à suivre pour tirer profit de la participation des usagers à une politique publique, en tenant compte des
spécificités de ces usagers.

L’animation des débats gagne à être confiée à un tiers neutre, professionnel et/ou
bénévole, formé à l’animation.
Les méthodes employées sont décisives, comme le souligne le Conseil national des politiques
de lutte contre la pauvreté et l’exclusion sociale (CNLE) qui insiste sur plusieurs enjeux : savoir
accepter la confrontation et les désaccords, savoir distribuer la parole à tous, utiliser des supports
créatifs ou ludiques (pour les personnes en situation de marginalisation) :
a. des règles simples facilitent la confrontation démocratique, telle l’interdiction d’employer des
sigles – ou un langage trop technique – sans explicitation préalable ;
b. la participation des personnes en situation de précarité doit être adossée à des groupes ;
c. les dispositifs participatifs s’inscrivent dans une temporalité longue ;
d. la création d’espaces d’échanges plus conviviaux est souhaitable au démarrage des dispositifs ;
e. les échanges entre professionnels, institutionnels, militants et personnes en situation de
précarité permettent à chaque participant de progresser dans la compréhension des problèmes
et d’envisager des pistes de changement.

Pour éviter que la décision ne soit monopolisée par certains participants, les publics
mobilisés doivent être diversifiés.
Parmi les outils possibles, le tirage au sort a pour avantage de faire participer ceux qui ne le
feraient pas spontanément, de faire émerger des points de vue, d’assurer une certaine impartialité à la
décision et de stimuler la délibération démocratique.

Le renouvellement des méthodes de mobilisation des citoyens doit viser

simultanément à abaisser le coût d’entrée dans les dispositifs participatifs
Cela peut passer par un accompagnement la prise de parole en public (par exemple grâce à la
vidéo, au théâtre-forum ou aux nouvelles technologies de l’information et de la communication).

Le lien entre les décisions prises et les propositions issues des dispositifs participatifs
doit être explicité. A minima, la décision doit être motivée au regard des arguments
issus de la concertation.
Pour objectiver ce lien avec la décision, dans le champ spécifique des nouvelles technologies,
le Centre d’analyse stratégique a récemment proposé dans un document de travail de rendre

18
Source : Centre d’analyse stratégique, note de septembre 2012.

48
obligatoire la restitution publique des suites données aux propositions issues du débat public, dans les
trois mois qui suivent l’achèvement du débat.

2 La consultation
Outre les auditions et entretiens, deux formes nouvelles sont de plus en plus utilisées pour
recueillir les avis d’acteurs ou de bénéficiaires : les cahiers d’acteurs, le forum en ligne.
2.1 Les cahiers d’acteur

Un cahier d’acteur se présente sous la forme d’une contribution écrite dont le format est
prédéterminé.
Les cahiers sont publiés sur un site propre à l’occasion d’un débat public. Le contenu est libre et
volontaire, il n’engage que son auteur. En revanche, sa forme est contrainte par un ensemble de
règles : le cahier se présente comme une suite de réponses nécessairement argumentées à une liste de
questions, par un auteur identifié, lequel participe ainsi à la mise en œuvre de la politique évaluée ; le
propos est d’une longueur limitée, respecte les règles de correction et de bonne conduite du débat
démocratique et les réponses sont transmises dans un délai fixé au début de la consultation. Le respect
de ces règles est assuré par un comité de pilotage éditorial.
Dans une période récente, ce type d’outil a été utilisé lors du débat public sur le Grand Paris et à
l’occasion des Etats généraux de la démocratie territoriale.

Les Etats généraux de la démocratie territoriale

Lancés par le Sénat en décembre 2011, les Etats généraux de la démocratie territoriale avaient pour objet de
« recueillir la parole des élus, des citoyens et des acteurs institutionnels de la démocratie locale sur leurs
attentes et leurs propositions, afin de dessiner les contours de la France des territoires du XXIe siècle ».
Ils se sont déroulés en trois temps : recueil des points de vue et des propositions ; rencontres régionales ; réunion
des élus locaux à Paris pour « déterminer les grandes lignes de l’avenir de la démocratie territoriale ».
Trois outils de consultation ont été mis en place : la mise en ligne d’un questionnaire réservé aux élus locaux ;
l’ouverture d’un blog interactif ouvert à tous sur l’avenir des services publics locaux et le fonctionnement des
institutions décentralisées, des cahiers d’acteurs destinés aux organismes officiels, associations, grandes
entreprises de réseaux et organisations syndicales.
Les trois questions posées aux acteurs étaient les suivantes :
1. Quelle serait, à vos yeux, la meilleure répartition des missions et compétences entre l’État et les différents
niveaux de collectivités ?
2. En rapport avec ces missions, quelles ressources doivent être mobilisées par chaque acteur ?
3. Comment organiser les relations entre les partenaires institutionnels, votre organisme et les citoyens ?
Une synthèse des réponses est disponible sur le site du Sénat.

2.2 Les forums en ligne

Dans son rapport public 2011, le Conseil d’Etat a mis en exergue l’intérêt de ces forums,
capables de favoriser l’implication d’acteurs nouveaux : membres d’associations peu connues, médias
alternatifs, groupes d’intérêts isolés, experts, simples citoyens. A la différence des réseaux sociaux, où
les internautes préfèrent échanger avec des personnes réputées de même sensibilité, « le forum
électronique permet en effet la confrontation des opinions, l’évaluation du pour et du contre, la
discussion critique interactive »19.
L’apport majeur d’Internet provient peut-être surtout de sa fonction de mise à l’épreuve
continue de la décision publique.

19
Rapport public du Conseil d’Etat 2011, Consulter autrement, participer effectivement.

49
 Les écueils, identifiés par le même rapport, sont cependant nombreux : les forums peuvent être
un lieu de doléances voire de dénonciations plutôt qu’un espace de réflexion partagé et de recherche
de positions communes. De plus, la technicité des enjeux et des argumentations produit un processus
de sélection des intervenants, au profit des experts et des « collectifs » organisés.
Le recours à Internet suppose aussi que la grande majorité des citoyens et des administrés ait
aisément accès aux outils numériques de base (un ordinateur et un accès informatique) et que les
temps de réponse et les coûts soient acceptables.
Les bilans réalisés montrent enfin une faible exploitation des contributions lorsque celles-ci ne
sont pas encadrées par des règles, à l’instar de celles qui sont utilisées pour l’élaboration des cahiers
d’acteurs.
Le Conseil d’Etat a donc posé quelques règles reprises ci-après pour assurer une certaine utilité
à cette forme d’association.
Les normes minimales ou principes directeurs de la concertation en ligne
Respecter des délais proportionnés à l’importance du sujet présenté.
Etre circonscrite et mentionner les principales parties prenantes.
Etre préalablement documentée, de manière complète, précise et objective.
Etre conduite de manière impartiale et, si possible, par un tiers.
Faire l’objet d’un bilan des observations recueillies.
Indiquer les suites qu’il est envisagé de lui donner.

Illustration : la place de l’usager dans l’évolution du système de soins en Angleterre

A la suite d’un rapport publié en juin 2008 constituant un bilan du système de santé national et traçant ses
perspectives d'avenir, le ministère de la santé anglais a engagé une politique volontariste de mesure et
d’amélioration de la qualité des soins et d’étroite association des usagers sur le sujet. Une stratégie de
consultation et d’information a été déployée en conséquence, s’appuyant sur :
- le recueil, à une très large échelle, de l’avis des patients : enquêtes de satisfaction, interrogation
systématique des patients hospitalisés pour évaluer leurs expériences mais aussi pour établir des indicateurs
de résultats cliniques ;
- la création d’un organisme pivot doté d'une certaine indépendance (la Care Quality Commission) ;
- la mise en place d’un site internet (NHS choice) offrant plusieurs rubriques d'informations, établissement par
établissement, pour différents types de soin : outre des indicateurs de résultats (taux d'infection du site
opératoire pour la prothèse de hanche par exemple), ce site rend compte d’appréciations issues de sondages
auprès du personnel (sur la qualité des soins délivrés et de la formation reçue) et laisse aux usagers de
l'hôpital un espace de commentaires et d’avis ;
- la constitution de « réseaux locaux de participation » (local involvement networks - LINks), financés par les
autorités locales, regroupant les individus ou les associations volontaires pour contribuer à l’amélioration du
service public de la santé (en analysant des problèmes spécifiques, en interrogeant la population localement,
en faisant des propositions).
Les premiers résultats de ce dispositif, encore récent, apparaissent nuancés puisque l’information, pourtant
conçue pour être appropriée par les usagers (et non comme un privilège d’experts ou de gestionnaires) apparaît
relativement peu exploitée par ceux-ci. Il faut reconnaître là le volontarisme d’une politique qui cherchait à
rompre avec un mode de planification et de contrôle centralisé du système de soins et à promouvoir un « usager
actif ». Même avec ses limites, la référence à l'usager a cependant permis de développer une démarche de
modernisation où les préoccupations de qualité du service équilibrent les préoccupations de performance
économique.

50
 Fiche n° 4. « Qui fait quoi ? » : récapitulatif par étape

Première phase : diagnostic

Etapes Ministre Coordinateur Responsable opérationnel Acteurs associés Agents Citoyens - usagers
Etape 1 - Précise le périmètre de - Assiste et conseille le - Participe aux travaux Sont invités par le Sont informés du
Préparation la politique étudiée prévu ministre. préparatoires, en tant que de ministre à constituer le lancement de la
de par le mandat du PM. - Contribue à la besoin. comité de pilotage démarche.
l’évaluation - Fixe la composition du constitution du comité de - Précise ses besoins en termes (CoPil).
comité de pilotage. pilotage. d’équipe d’appui et de
- Désigne un - Réunit la moyens.
1 mois à 2 coordinateur (directeur- documentation existante. - Prend des contacts
mois métier…). - Prépare la lettre de exploratoires internes à
- Signe la lettre de mission et le cahier des l’administration (inspections,
mission pour le charges à l’attention du SG, direction métier...).
responsable opérationnel. responsable opérationnel - Préfigure son programme de
- Préside le comité de du diagnostic (RO). travail.
pilotage. - Constitue son équipe d’appui.
Etape 2 - Préside le comité de - Assure le secrétariat du - Organise les travaux et met - Participent au comité - Ont accès à la lettre - Ont accès à la lettre
Diagnostic pilotage. CoPil. en place les modalités de de pilotage. de mission. de mission.
- Réoriente si nécessaire - Veille au respect du travail de l’équipe d’appui. - Répondent aux - Sont consultés. - Sont consultés dans
les travaux en cours de cahier des charges. - Organise la concertation. demandes du responsable - Peuvent participer à le cadre de dispositifs
diagnostic. - Répond aux demandes - Rend compte de façon opérationnel. des comités à adapter en fonction
3 mois
- Recueille l’avis des du RO en cas de périodique de l’avancement - Délibèrent au sein du territoriaux. de la politique étudiée
environ
membres du CoPil sur les difficulté. des travaux au coordinateur. CoPil sur les rapports et du délai disponible.
rapports de fin de - Emet un avis au - Sollicite le coordinateur en d’analyse et
diagnostic. ministre sur les cas de blocage ou de opérationnel.
- Prolonge si nécessaire conclusions du rapport nécessaire réorientation des - Délibèrent sur la
la phase de diagnostic opérationnel.. travaux. nécessité éventuelle de
par une nouvelle lettre de - Si nécessaire propose - Fournit le rapport d’analyse prolonger la phase de
mission. au ministre la lettre de et le rapport opérationnel, les diagnostic.
prolongation de mission signe et les transmet au
de diagnostic. coordinateur.

51
 Deuxième phase : choix et approfondissement des scénarios

Etapes Ministre Coordinateur Responsable opérationnel Acteurs associés Agents Citoyens - usagers
Etape 3 - Arrête les scénarios de - Prépare la lettre de - Expriment leur avis sur - Ont accès au rapport Ont accès au rapport
Cadrage des réforme qui seront mission précisant les - Nota : le responsable les esquisses de scénarios d’analyse. d’analyse.
hypothèses étudiés. scénarios à approfondir. opérationnel peut changer du rapport opérationnel - Sont informés du
de scénarios - Désigne le responsable - Suit les éventuels entre l’étape 2 et l’étape 4 et proposent rapport d’analyse,
opérationnel pour la arbitrages d’éventuelles éventuellement par une
phase interministériels alternatives. information en comité
1 mois d’approfondissement des organisés par le SGMAP. - Sont consultés sur le technique.
environ scénarios ; signe la lettre - Réunit les éléments projet de lettre de
de mission. techniques nécessaires à mission de l’étape
l’approfondissement des suivante.
scénarios.

Etape 4 - Reçoit le dossier de - Rassemble les éléments - Organise les travaux et met - Contribuent à la Si sa lettre de mission Si sa lettre de mission
Approfon- synthèse. techniques nécessaires. en place les modalités de documentation des le prévoit, sont le prévoit, sont
dissement - Recueille l’avis du - Anticipe dès que travail de l’équipe d’appui. scénarios. consultés sur les consultés sur les
des CoPil. possible la phase de plan - Documente les scénarios. - Sont destinataires du scénarios par le scénarios par le
scénarios - Consulte, à sa d’action. - Si sa lettre de mission le dossier de synthèse. responsable responsable
convenance prévoit, conduit la - Délibèrent sur les opérationnel. opérationnel.
2 mois consultation sur les scénarios. scénarios dans le cadre
environ - Etablit le dossier de synthèse du CoPil.
et le transmet au coordinateur.
Etape 5 - Arrête le scénario de - Etablit le plan d’action Déclinent et mettent en - Sont consultés et
Décision réforme en lien avec le en liaison avec le SG. œuvre les actions de informés sur le plan
Premier ministre. - Anticipe les mesures réforme dans leurs d’action dans le cadre
- Présente en CIMAP les d’accompagnement institutions respectives. institutionnel classique.
décisions de réforme. nécessaires. - Sont associés à la
- Définit un plan de mise définition des mesures
en œuvre. d’accompagnement.

52
 Fiche n° 5. Glossaire

Acteur Institution en charge de la politique publique ou participant à celle-ci.

Bénéficiaire Individus, groupes ou organisations qui bénéficient de l’action de
développement, directement ou non, intentionnellement ou non*.
Cahier des Document précisant le résultat attendu (et éventuellement certaines exigences
charges de méthode) de la mission confiée au maître d’œuvre, responsable des travaux,
le responsable opérationnel de l’évaluation.
Comité de pilotage Instance décisionnelle sur l’ensemble du processus de l’évaluation d’une
politique publique.
Commanditaire Responsable politique et stratégique de l’évaluation de la politique concernée
en charge des décisions aux étapes clés du processus.
Concertation Attitude globale de prise d’avis sur un projet par une autorité qui souhaite
engager un dialogue avec les personnes intéressées tout en restant libre de sa
décision.
Consultation Processus par lequel le point de vue d’un individu, d’un groupe de population
ou d’une institution est sollicité, autour d’une ou de plusieurs questions
précises.
Contributeur Personne ou structure fournissant des analyses et des informations.
Coordinateur de Personne assistant le commanditaire, chargée, en relation étroite avec ce
l'évaluation dernier, de suivre le processus d’évaluation et de gérer les interfaces.
Diagnostic Analyse commune (mais pas forcément consensuelle) des
partagé caractéristiques et des effets d’une politique, produite à l’issue de la
première phase d’évaluation. Ce diagnostic est élaboré et signé par le
responsable opérationnel de cette première phase.
Dossier de Dossier de présentation approfondie des scenarios fourni à l’issue de la
synthèse deuxième phase d’évaluation par son responsable opérationnel.
Efficacité Mesure des résultats d’une intervention publique en regard des objectifs
poursuivis.
Efficience Mesure des résultats d’une intervention publique en regard des moyens
mobilisés.
Equipe d’appui Equipe restreinte mise à disposition du responsable opérationnel pour
réaliser les travaux, solliciter des contributions extérieures et produire les
rapports attendus.
Evaluation Appréciation de la valeur de l’action publique (politique, programme,
dispositif) au regard de certains critères comme la pertinence, l’efficacité,
l’efficience… notamment dans le but d’apporter des connaissances pour aider à
la décision et éclairer le débat public***.

53
Lettre de mission Document par lequel le commanditaire (ministre) demande au
responsable opérationnel de réaliser une mission : diagnostic ou
approfondissement de scénarios de réforme.
Livrable Document à produire à différentes étapes du processus d’évaluation : lettre de
mission, rapport d’analyse, rapport opérationnel, dossier de synthèse...
Mandat Demande d’évaluation d’une politique publique adressée par le Premier
ministre à un ministre chef de file.
Partenaire Acteur d’une politique publique aux côtés d’autres acteurs (dont l’un
peut avoir un rôle prédominant en termes financiers, réglementaires,
stratégiques...).
Parties prenantes Individus, groupes ou organisations qui ont un intérêt dans l’intervention
évaluée ou dans l’évaluation elle-même en tant qu’acteur ou bénéficiaire.
Performance Capacité d’une institution à atteindre les objectifs fixés avec une
mobilisation optimale de ses ressources.
Politique publique Ensemble ordonné de mesures et d’actions publiques, destiné à répondre à une
demande sociale et à susciter une transformation de l’état de la société.
Pertinence Adéquation entre les objectifs poursuivis par l’intervention publique et les
problèmes ou enjeux de société auxquels la puissance publique entend apporter
une réponse**.
Rapport d’analyse Dossier détaillé comportant les analyses des parties prenantes, produit par
le responsable opérationnel à l’issue de la phase de diagnostic du
processus d’évaluation.
Rapport Document synthétique produit par le responsable opérationnel à l’issue
opérationnel de la phase de diagnostic (parallèlement au rapport d’analyse) qui en
résume les principales conclusions et comporte des pistes d’évolution.
Responsable Personne en charge de la maîtrise d’œuvre de l’évaluation, à laquelle le
opérationnel commanditaire (ministre) délègue la réalisation de la phase de diagnostic et /ou
d’approfondissement des scénarios.
Scénario Il est prévu d’échelonner dans le temps les évaluations de politiques
publiques partenariales. Elles seront donc programmées par vagues
annuelles ou infra-annuelles.
Vague Groupe de politiques publiques dont l’examen est lancé simultanément
au cours d’une période de temps définie (par exemple une année).

* Définition reprise du Guide de l’évaluation 2007 du Ministère des Affaires étrangères

** Définition reprise du Guide pratique de l’évaluation du Nord-Pas-de-Calais, « Le petit furet de
l’évaluation » deuxième édition
*** Définition reprise de « Méthodes d’évaluation des politiques publiques, Actes du séminaire,
DREES, Etudes et Statistiques, Mai 2011

54