Le centre de ressources EVAL a été retenu pour mener l’évaluation externe finale du projet AUTREMENT (Aménagement Urbain du Territoire pour REinventer les Mobilités et ENgager les Tunisiens) sur les villes de Kairouan et Madhia.
Nous souhaitons faire monter à bord des utilisateurs potentiels de cette évaluation : tout acteur intéressé par les questions de mobilité durable ou de participation citoyenne, particulièrement si vous êtes en phase de montage de projet similaire.
L’engagement souhaité est le suivant :
prendre connaissance du projet dans ses grandes lignes et faire remonter vos questions
une fois la phase de terrain achevée, réagir aux premières recommandations
Quelques échanges en visio seront proposés. L’idée est de faire vivre le groupe au delà de l’évaluation dans une dynamique de communauté de pratique.
Pour plus de détail ou manifester votre intérêt, voir ici.
Dans cet article, Valéry Ridde et Jean-Pierre Olivier de Sardan proposent une définition inclusive du conflit d’intérêt.
Le conflit d’intérêt intervient lorsqu’un acteur engagé à n’importe quel degré d’ingénierie de projet, humanitaire ou de développement, estime nécessaire d’afficher des opinions qui contredisent ses perceptions ou ses connaissances, de retenir des critiques ou d’ignorer les problèmes rencontrés par l’intervention.
Ainsi, une surdité aux critiques émises par d’autres acteurs ou une auto-censure de ses propres critiques. Toute critique ouverte pouvant ainsi mettre en péril la position de chacun et chacune dans l’industrie du développement. Un univers ou l’auto-congratulation, l’auto-régulation, la parole élogieuse, la promotion des interventions et l’utilisation d’un langage stéréotypé est la norme.
Les enjeux sont divers : obtenir ou renouveler un financement, la crainte de ternir son image, « ne pas nuire » à sa carrière ou à son compte en banque.
Pour les consultants, la pression implicite des contractants de ne plus avoir recours à des profils estimés trop critiques. Une certaine connivence entre bailleurs et consultants, dans des espaces de temps de toute façon trop restreints pour des évaluations de qualité et coincés en tant que prestataire par des termes de référence qui imposent ce qui doit être étudié et comment. Sortir du cadre implique s’exposer à ce que le rapport ne soit pas « validé » et de fait non-payé.
Les ONG et agences de mise en oeuvre, en tant que sous-traitantes, mises sur le renouvellement d’un contrat, voir jouent leur propre survie sur l’atteinte des résultats préalablement fixés au moment de la contractualisation du « partenariat ».
De la même manière, les services publics, exigus, sont enclins à dissimuler les échecs, montrer qu’ils sont bon élèves, que les activités prévues ont été menées de manière efficiente, quelle qu’en soit la qualité, afin d’engendrer ou renouveler l’appui. Par ailleurs, « à cheval donné, on ne regarde pas les dents ».
Cette posture du bon élève se décline des échelons territoriaux jusqu’aux populations bénéficiaires, gommant les aspérités des arènes politiques locales, elles mêmes susceptibles d’accélérer ou de contraindre la réussite des initiatives. Peu importe l’issue, des narratifs idylliques sont attendus et produits pour les partenaires étrangers.
Bien sûr des exceptions existent, des expériences positives fleurissent, certains acteurs jouent selon les règles, sans censure, ni auto-censure.
En conclusion, Valéry Ridde et Jean-Pierre Olivier de Sardan proposent diverses pistes :
orienter la recherche vers la compréhension et la documentation des conflits d’intérêt, explorer les exceptions positives
convaincre, argumenter, former : de la nécessité de regarder la réalité en face, sortir de l’obsession des résultats positifs, instaurer notamment une culture de diagnostic rigoureux
attendre des bailleurs, lesquels maitrisent les règles du jeu, d’impulser des mécanismes qui engendrent des évaluations réellement indépendantes, avec des méthodes mixtes, avec plus de poids pour les méthodes qualitatives
la publication et le libre-accès aux évaluations de manière systématique, incluant un droit de réponse et la transparence du débat
un fond pour la recherche piloté par un comité d’experts indépendants qui sélectionnerait les propositions de recherche (abondé par exemple à hauteur de 10% des montants engagés)
Ces propositions visent à stimuler un débat actuellement absent sur le rôle que devrait avoir les institutions de développement pour générer des analyses indépendantes, rigoureuses et sans complaisance.
Pour contribuer, modestement, à ce débat, nous mettons à disposition cet espace et sollicitons vos réactions. Les conflits d’intérêt, la norme ou l’exception ? Merci par avance de vos retours d’expérience.
L’évaluation en contexte de développement – enjeux, approches et pratiques, sous la direction de Linda Rey, Jean-Serge Quesnel et Vénétia Sauvain, ENAP, 2022
Le manuel se présente comme destiné aux personnes souhaitant s’initier à l’évaluation de programmes. Saut dans le grand bain pour les débutants, il permettra surtout aux initiés une approche réflexive et actualisée sur leurs pratiques. Suivant le fil d’une démarche évaluative, il donne la parole à une sélection de praticiens et praticiennes, ce qui laissera par ailleurs l’opportunité à chacun de suivre des auteurs en fonction de ses centres d’intérêt. Dans son dernier chapitre, le manuel réuni les points de vue des premiers coordonnateur et présidents du Réseau Francophone d’Evaluation. L’ouvrage se circonscrit plus particulièrement au contexte du développement et de la coopération. Un deuxième tome permettrait de s’extraire de la logique de coopération, considérer l’avance des praticiens et praticiennes du développement dans la discipline afin d’offrir une référence plus globale en termes d’évaluation de politiques publiques et interroger les pratiques des pays hors du champs de l’aide. Enfin, l’ouvrage est disponible en ligne.
C’est la question que s’est posé Théophile Courtier dans cette courte note où il présente et décrypte les programmes des 12 candidats en matière d’évaluation des politiques publiques. Une lecture incontournable à quelques jours des élections présidentielles.
Heureux processeur d’un MacBook Pro Retina 13 pouces, mi-2014, celui-ci commençait néanmoins à présenter quelques signes de faiblesse : quelques lenteurs lorsque, typiquement, 70 onglets étaient ouverts simultanément sur le navigateur, sans compter quelques dizaines de fichiers texte de tous types : word, excel, PDF,… Rien de bien gourmand, cependant. Il fallait alors prendre le temps de tout fermer pour repartir de plus belle. Même pour le montage vidéo, il tenait toujours à peu près la route.
J’ai néanmoins passé le pas précipitamment (beaucoup plus de d’habitude où je passe des heures sur les forums et autres sites spécialisés à peser le pour et contre) en jetant mon dévolu sur le MacBook Pro 2020 (13 pouces, deux ports Thunderbolt 3). L’entrée de gamme, comme toujours, pour la modique somme de 1499€. Mais rien à voir, ouh làlà, selon le vendeur celui-ci possède « 4 cœurs« . Évidemment, moi, je n’en doute pas, après 5 ans, mon Macbook Pro Retina est une antiquité. A moi, les joies de la vitesse !
Macbook pro 2020 vs Macbook pro 2014
Bah non, en fait. Que de déceptions. Je regrette éminemment cet achat, voici pourquoi :
Clavier : sur le 2014, la course de frappe était juste parfaite ! Certes, j’ai échappé au clavier papillon et après quelques jours on y pense plus vraiment, le clavier fonctionne, ce n’est pas le problème, mais suffit de se remettre par hasard sur le Macbook 2014 pour retrouver un certain plaisir de frappe.
Design : le 2020 fait un peu trop joujou, voir bijou, un peu plus fin, il donne une sensation de fragilité
Connectique et mobilité : là où avant je me déplaçais avec 2 éléments (le macbook et son chargeur), il m’en faut maintenant 5 ou 6 (adaptateur USB, adaptateur RJ45, adaptateur HDMI, câble de charge USB‑C, l’adaptateur secteur… le tout sans oublier le Macbook)
Chargeur : fini le petit voyant qui indiquait la fin de la charge, fini la connexion aimantée qui évite que le portable tombe par terre lorsque l’on se prend le pied dans les câbles…
Touchbar : non seulement totalement inutile mais également ne rend plus possible des fonctions basiques et simples comme l’ajustement du volume par simple pression d’une touche « plus » ou « moins » – il faut maintenant une pression prolongée pour faire apparaitre un curseur.
Et enfin le plus embêtant : il se met parfois à ventiler bruyamment. Rien de dramatique mais encore une fois un problème que je n’avais pas avec la génération précédente.
Donc si on résume : je n’ai pas la sensation d’avoir gagné en puissance. Par contre d’avoir perdu sur tout le reste, pour la modique somme de 1499€.
Caractéristiques : MacBook Pro (13 pouces, 2020, deux ports Thunderbolt 3) Processeur 1,4 GHz Intel Core i5 quatre cœurs Mémoire : 8 Go 2133 MHz LPDDR3
Macbook pro 2020 vs Macbook pro 2014 : 6 ans d’innovation pour une régression.
Une logique de causalité : si A produit B et B produit C alors A devrait produire C. Extrait du manuel de référence du cadre logique.
Le cadre logique se fonde sur des principes de causalité, de linéarité et de rationalité. Pour autant, si l’Homo sapiens était rationnel, la planète serait une oasis de prospérité, sans nécessité de programmes de développement et donc de cadre logique…
La rationalité est limitée par la subjectivité, notre perception de la réalité influencée par nos principes, valeurs, dogmes ; par notre culture et éducation, nos orientations psychologiques et humeurs du moment…
Cette rationalité est par ailleurs limitée par notre champ de vision, ce qui nous apparait comme un manque de rationalité est souvent lié à un simple déficit d’information. Nous jugeons irrationnels des comportements dont nous ne comprenons pas les motivations.
Egalement l’apparente irrationalité peut émerger d’une distorsion entre intérêts individuels et intérêts collectifs. Une fois les intérêts individuels soulevés, l’explication des comportements se clarifie…
Selon René Descartes, père spirituel de la rationalité. : « Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l’on a reçues, et reconstruire de nouveau le système de ses connaissances.«
René Descartes : père spirituel de la rationalité. » Pour atteindre la vérité, il faut une fois dans la vie se défaire de toutes les opinions que l’on a reçues, et reconstruire de nouveau le système de ses connaissances. »
Le principe de linéarité est de la même manière tout relatif.
Le principe de linéarité induit par le cadre logique.
Source inconnue
Divers chercheurs en sciences sociales vont remettre en cause ces « présupposés positivistes » :
« Si les gentils acteurs d’un projet se voient attribuer certains moyens, qu’ils utiliseront frugalement et dont ils rendront fidèlement compte, ils mettront en œuvre des activités utiles et nécessaires, qui permettront d’atteindre des objectifs vérifiables et bénéfiques, au service d’une juste cause, sauf si de méchants acteurs extérieurs ne font pas ce qu’ils ont promis de faire. »
Planification, gestion et politique dans l’aide au développement : le cadre logique, outil et miroir des développeurs – François Giovalucchi et Jean-Pierre Olivier de Sardan -Revue Tiers Monde, 2009
« le développement n’est pas mû par une logique cartésienne de cause à effet, mais par une dynamique chaotique de simultanéité »
Pierre Jacquet, « À la poursuite des Objectifs du millénaire », Option Finance, janvier 2005
« … vision technique et dépolitisée, sans références aux arènes locales, aux dynamiques en cours, aux jeux d’acteurs existants.»
«…il suffirait de dérouler mécaniquement les actions prévues pour obtenir les résultats attendus oubliant qu’une intervention induit des interactions permanentes entre les espaces locaux et l’intervention. »
Analyser, suivre et évaluer sa contribution au changement social , Philippe Lavigne Delville, séminaire AFD-F3E, 2014
Cette théorie de la causalité est également remise en cause par la théorie de ladouble causalité : l’avenir peut-il influencer le passé ? Mais quittons la métaphysique pour revenir à des éléments plus pragmatiques…
2. La simplification à outrance
Incorporer la substance d’une, trois ou cinq années de programme dans une matrice de 4 sur 4 est en soi une performance. Même si le rédacteur du cadre logique possède une connaissance extrêmement poussée du contexte, le degré de finesse et de précision qui pourra être transmis à travers les cases de l’outil ne sera que limité. Le cadre logique est forcément réducteur de la complexité d’une situation et de la tentative de réponse apportée.
Par ailleurs, seul le concepteur du cadre en possède toute la substance, lui ou elle seul.e en maitrise les nuances et les sous-entendus, les omissions de ce qui est considéré comme implicite afin de ne pas déborder du format tableur et, par souci de lisibilité, d’en équilibrer chaque case.
Pour autant la lecture de ce concentré de projet est complexe, chaque élément demande concentration et réflexion et il n’est probablement pas plus rapide de lire en profondeur un cadre logique sur 3 pages qu’un narratif de projet sur 30 ou 50.
3. Complexité de l’approche et de son jargon
« The Logical Framework does not require a degree in mathematics or the use of computers. It relies on the user’s experience with development projects as well as a sense of what consistent good management and intuition ».
Même si les concepteurs présentent la matrice comme simplissime, son utilisation et appropriation sont loin d’être évidentes. Une lecture en diagonale à appréhender et un double niveau de cohérence à vérifier… Le casse-tête de savoir comment organiser la matrice lorsqu’une même activité concoure à plusieurs réalisations, une même réalisation à plusieurs objectifs spécifiques… Comprendre et savoir décliner la matrice en fonction des opérateurs (voir ce schéma pour mémoire). Maitriser le jargon et l’orientation de la Gestion Axée sur les Résultats. Et enfin à minima être à l’aise avec les tableurs…
Ces contraintes ont abouti à une professionnalisation de l’aide et à un nouveau métier : « encadreur de projet ». Réduisant de fait l’accès aux financements pour des initiatives nées localement ou pour toute une diversité d’acteurs non issus du sérail.
La mise sous cadre, module incontournable de tout master en développement.
Projet avec ou sans cadre logique ? Un jargon complexe, de longues discussions techniques pour s’accorder sur la conception de la matrice, qui risquent de nous éloigner des discussions de fond.
Le cadre logique serait ainsi un outil occidental, une contrainte inflexible sur les ONG, qui les empêtrerait dans leurs missions. La soumission obligatoire du cadre entraverait les initiatives locales pour laisser place à des « ONG professionnelles » possédant une vision réduite du contexte. .
Bornstein,2003
A l’origine de la confusion : les adaptations multiples du cadre logique au gré de sa diffusion massive
A mesure que l’ensemble des institutions de développement s’emparait du modèle, des disparités ont pu émerger entre les différents modèles et templates, générant ainsi des degrés de confusion supplémentaires.
1. Disparités temporelles
Exemple d’évolution des termes au sein d’une même institution (UE)
2. Disparités en fonction des traductions
Un seul objectif global dans la version anglaise du manuel de l’Union Européenne, plusieurs dans la version française… Les deux datées de mars 2004… Please help !!!
Ce qui fait totalement sens dans la version anglaise est incohérent dans la version française (les indicateurs de résultats ne sont pas liés aux résultats…). Combien d’heures de perdues et de gestionnaires de projet francophones plongés dans la perplexité sur un faux problème ? L’outil supposément d’aide à la réflexion provoque un regard d’incompréhension sur son propre projet… Quelles conséquences, au fil des années, pour le premier bailleur de fonds de l’aide publique au développement, d’une simple erreur de traduction/formulation en terme d’efficacité de l’aide ?
3. Disparités en fonction des institutions
Des disparités enfin inhérentes à l’appropriation et adaptation de la méthode au sein de chaque institution, ONG, collectivité locale, fonction publique…
Variations sur le même thème : la colonne « logique d’intervention » selon le format AFD, PNUD, ACDI ou encore CTB
Enfin l’accès à un modèle/template « officiel », de référence, ou à un guide/manuel d’utilisation n’est absolument pas systématique ou évidente en fonction des bailleurs. Le porteur de projet tâtonne souvent en fonction de ses expériences préalables d’utilisation de l’outil. Il faut également considérer le fait que les agents qui sollicitent des cadres logiques ne sont souvent pas plus formés ou outillés que ceux qui devront les rédiger ou encore les mettre en exécution.
L’autre extrême se rencontre aussi communément : une multitude de formats en fonction de chaque bailleur, quasi-similaires mais distincts dans l’absolu, générant un temps additionnel de tâche administrative considérable. Des formats utilisables uniquement des professionnels de l’industrie du développement.
Des limites liées à son mode de conception ou d’utilisation
1. Le cadre logique comme support de contractualisation
Le cadre logique est souvent exigé pour toute réponse d’appel à projets. Celui-ci devient le document de référence où sont chiffrés les résultats attendus – tel un devis ou une facture pro forma. L’aspect financier est prépondérant, le cadre logique devient un élément « contractuel ». Et ce qui fait la force d’un contrat est la fermeté de son engagement : une rigueur à en faire respecter les termes sans les altérer. Le « partenaire », devenu prestataire de service, n’aura ainsi aucun intérêt à engager des frais supplémentaires pour adapter/améliorer sa réponse à un besoin initialement sous-estimé.
L’exercice est d’autant plus aberrant dans des situations de cofinancement : présenter avec précision le déroulé du projet alors même que celui-ci dépendra des montants accordés, à ce stade inconnus…
Cadre logique : un absurde support de contractualisation en cas de cofinancement : comment déterminer une logique d’intervention et des résultats chiffrés alors que le montant budgétaire global attribué n’est pas connu ?
2. Absence de concertation
Il est toujours intéressant d’apprendre comment a été conçu un cadre logique. Le mode d’organisation des institutions fait que le cadre a parfois été rempli par une seule et même personne, en quelques heures. Ce n’est pas une partie de plaisir pour le rédacteur qui doit proposer une maquette aboutie sur un terrain en friche. Le cadre est alors rempli case par case sans possibilité d’effectuer les phases préalables d’analyse.
Surprenant également d’interroger à quelle fréquence le cadre logique est consulté pendant la phase de mise en oeuvre. Parfois, il n’a plus jamais été utilisé depuis l’obtention du financement…
A l’inverse, certaines organisations construisent le cadre logique sur plusieurs mois autour de rencontres multiples impliquant une diversité d’acteurs. D’autres laissent une période d’un an pour construire et ajuster le cadre logique avant de le verrouiller et qu’il ne devienne contractuel. Celui-ci demeure alors le document de référence lors de la mise en oeuvre.
Remettre en cause l’outil ou le mode d’utilisation ?
Bien sûr, même en cas d’approche participative, des difficultés demeurent : la parole du bailleur a plus de poids, dans cette situation de prestation de service, le client est toujours roi. Aussi, des jeux de pouvoir et d’influence s’exercent dans les phases d’analyse, complexes et indéchiffrables au regard du « chargé de projet » responsable d’obtenir des résultats sur des objectifs pré-établis, sur lequel il n’a jamais eu prise.
3. Un éclatement des tâches
Utilisé comme voie d’accès au financement, la personne chargée de concevoir le cadre logique n’est plus celle qui met en place le projet sur le terrain. La performance anticipée par le premier, parfois déconnecté du lieu de mise en oeuvre, risque de donner des sueurs froides au responsable de programme. Performance qui n’en demeure pas moins « contractuelle ».
Un même outil : 2 champs de vision
Réponses aux critiques sur le cadre logique
Quelles que soient les critiques envers l’outil et son mode d’utilisation, force est de constater que Léon J. Rosenberg et Lawrence D. Posner (voir les prémices du cadre logique) étaient des visionnaires. A travers l’outil, les deux consultants entrevoyaient les fondations d’un système de suivi et d’évaluation pour l’agence de coopération américaine, alors même qu’aucune institution n’avait encore formalisé ce type de système.
Aussi, diverses approches méthodologiques postérieures au cadre logique étaient déjà dans le champ de vision de Rosenberg et Posner, par exemple :
Capitalisation d’expérience :
La justification première de l’investissement sollicité pour diffuser le cadre logique dans l’agence est ce que nous appelons communément aujourd’hui la capitalisation d’expérience.
Est-ce que la mise en place de nos préconisations* mérite l’investissement ? Cette question rhétorique en appelle une autre : quelle est la valeur de sauvegarder l’expérience de 20 années de développement ?
*la préconisation évoquée est l’adoption officielle et diffusion du cadre logique au sein d’USAID pour un montant d’environ 500 000$ en 1969
L’extrait ci-dessous illustre de manière troublante les fondements de la méthode de la cartographie des incidences, construite par opposition au cadre logique.
Par exemple, si l’objectif spécifique est d’augmenter la production de riz de 50% et que les résultats attendus sont (1) la construction de canaux d’irrigation (2) la distribution de semences à haut rendement et que le projet assume qu’il y aura suffisamment d’engrais sur le marché à un prix raisonnable et que les producteurs auront accès à des crédits – le projet pourrait avoir a influencer les producteurs et distributeurs d’engrais et les institutions bancaires malgré que celui-ci n’ai aucune autorité sur eux. Le responsable de programme peut le faire en partageant ses objectifs avec les parties prenantes. Avec le cadre logique, il peut présenter ses objectifs spécifiques, les réalisations attendues, et les hypothèses critiques pour le succès du projet. Il peut aussi présenter l’objectif global afin qu’ils puissent se rendre compte en quoi ils contribuent à une entreprise importante. Finalement, il peut partager avec eux les hypothèses du projet pour que chacun puisse visualiser son rôle permettant d’aider le responsable de projet à accomplir sa tâche.
Par ailleurs, certaines critiques comme l’absence de concertation ou la rigidité du cadre sont à relativiser car celles-ci avaient été considérées par Rosenberg et Postner.
Absence de concertation
Le processus d’élaboration du cadre est à faire de manière collaborative. Cela demande la participation de toutes les parties prenantes : les équipes de programmation, les équipes cadres, les gestionnaires de projets, les expertises techniques, les techniciens et fréquemment les experts en évaluation.
Il demeure cependant notable dans cet extrait que les bénéficiaires n’ont pas encore voix au chapitre…
Rigidité
« The art of planning et replanning »
Même si 50 ans de recul et d’expérience de l’outil démontre son caractère rigide, l’habilité à planifier et à replanifier était au coeur même de la méthode et des préoccupations de ses auteurs.
Austérité et conformisme
Bien sûr la diffusion de la méthode à travers les institutions a débouché sur un niveau élevé de conformité, de nombreux projets « copier/coller » et un manque d’innovation, pour autant le fonctionnement des auteurs était rafraichissant et atypique :
Un formateur se souvient : c’était un environnement des plus stimulants car la philosophie de Léon était d’embaucher des gens issus de parcours divers, de les projeter dans un domaine dans lequel il n’étaient pas experts, et de voir quel type de créativité pouvait émerger.
« la génération d’un flot d’idées plutôt qu’une application d’un savoir préconçu »
Il est toujours intéressant afin de saisir une méthode ou en cas d’incompréhension théorique, de revenir systématiquement à sa source. Peter Drucker, père fondateur de la Gestion Axée sur les Résultats et donc inspirateur de l’approche du cadre logique indiquait : « les résultats sont obtenus en exploitant des opportunités, et non et résolvant des problèmes ».
Alors même que la conception du cadre logique débute par un arbre à problèmes !
“Results are gained by exploiting opportunities, they are not gained by solving problems.” Peter Drucker
Et pour conclure ce tour d’horizon, une devise Shadok :
Question :
Selon vous, quelles sont les limites du cadre logique ? Comment pourrait-il être remplacé ?
Le Projet a été créé pour traiter les lacunes dans la réponse internationale aux secours d’urgence. Son objectif consiste à améliorer la rapidité, la qualité et l’efficacité avec laquelle la communauté humanitaire sauve des vies, améliore le bienêtre et protège les droits des femmes, des hommes et des enfants affectés par l’urgence.
