Recently, the number of public policies initiated within the framework of CCA has increased in se... more Recently, the number of public policies initiated within the framework of CCA has increased in several western countries. On the other hand, the evaluation and measurement of CCA progress remain embryonic and inadequately charted by indicators quantifying the changes and impacts attributable to these policies that engender new stakes and concepts that are difficult to measure and do not always produce a consensus. Our paper presents the results of a scoping review examining the extent, scope and nature of the literature dealing with CCA indicators and metrics. Using scoping-review protocol, bibliographic databases were examined (for the years 2005–2015), using key words, in both English and French, dealing with the measurement of progress in public CCA efforts in coastal areas. In all, 165 documents were selected and analyzed and more than 200 indicators were looked at. Our analyses point out that the conceptual framework for CCA remains fragmented given the different scientific approaches and disciplines. The lack of consensus about CCA and about the indicators designed to assess CCA initiatives is a major limitation in coastal zone management. One way is to harmonize the practices for analyzing human and environmental systems respectively, both in the fields of the social and the natural sciences. In terms of governance, network management appears to be the most effective method in the context of social and environmental change. In terms of indicators, the WorldRiskIndex provides a useful estimate of the vulnerability of countries with respect to the effects of climate change in a context of rapid urbanization. In a regional context or a smaller geographical area, GIS stands out for being able to incorporate a lot of data, and to ensure their continuous update. Moreover, the ICZM is an effective approach at the national level that nevertheless takes into account the regional differences in coastal zones. The studies included in this analysis also demonstrate that the M. Lamari (*) • J. Bouchard • J. Jacob • L. Poulin-Larivière Centre de recherche et d'expertise en e ´valuation (CREXE), University of Québec, E ´ cole nationale d'administration publique,
—Background: Knowledge brokering is an emerging best practice strategy in knowledge translation a... more —Background: Knowledge brokering is an emerging best practice strategy in knowledge translation and exchange in the health sector. Knowledge brokering is defined as being an activity undertaken by intermediaries (individuals, organizations, networks, etc.) acting as " connectors " to link producers and end users of new knowledge. Despite the increase in research dealing with the importance of knowledge brokering in the health sector, little is still known about the profiles and practical practices of knowledge brokers. This article provides an empirical portrait of knowledge brokering in the Web 2.0 era. It goes beyond the rhetoric and the opposing anecdotal evidence to respond to two questions: i) What is the profile of knowledge brokers? and ii) How does knowledge brokering work in the health sector in Quebec, Canada? Methods: The data used come from a survey carried out in 2011 among a representative sample of knowledge brokers using Web 2.0 technologies in Canada. The theory of knowledge absorptive capacity is used as the analytical reference to describe the " black box " of the knowledge brokering process. Results: The authors of this article provide a detailed profile of knowledge-brokering activities (stages, behavior, support, etc.), brokers' individual attributes (age, gender, experience, training, preferences, etc.), as well as exchanged-knowledge specific attributes. Conclusion: This study shows the complexity and diversity of the knowledge brokers' tasks and emphasizes the importance of the training and support required to develop brokers' competencies and the collaborations required by the digital media coverage of knowledge as well as by the mobilization of evidence for decision making and public health policies.
Praxis de l’évaluation et de la révision des programmes publics
Approches, compétences et défis
... more Praxis de l’évaluation et de la révision des programmes publics Approches, compétences et défis
PLUS QUE JAMAIS, les instances gouvernementales (fédérales, provinciales municipales ou internationales) sont soumises à des impératifs d’optimisation de leurs politiques et de leurs programmes. Pour ce faire, l’évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l’action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l’éthique requises. Cet ouvrage traite de la praxis de l’évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d’expertise explorent la nature et l’ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l’international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d’intervention (la santé, le développement régional et international, l’innovation, le transfert de connaissances, etc.). Pas moins d’une trentaine d’approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n’en citer que quelques-unes. Les enseignements tirés de la lecture de ce livre seront d’une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d’évaluation ainsi que maîtriser, d’une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d’autre part, la professionnalisation et la synchronisation de l’évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.
This final report offers a synthesis of the global report prepared by the authors as part of a fu... more This final report offers a synthesis of the global report prepared by the authors as part of a funding granted by Natural Resources Canada and the Consortium on Regional Climatology and Adaptation to Climate Change Ouranos to undertake investigation project AP274: “Analyse des indicateurs en adaptation aux changements climatiques utilisés dans certains pays de l’Organisation de coopération et de développement économiques (OCDE): le cas de la gestion côtière.” The authors are grateful to Natural Resources Canada and the Consortium on Regional Climatology and Adaptation to Climate Change Ouranos for their continuous support in the completion of this research project. With support from Natural Resources Canada. The analysis of the issue of adaptation to climate change in coastal zones conducted as part of this project has enabled to distinguish ten main highlights: 1) Coastal zones are characterized by high vulnerability; 2) Uncertainty still surrounds the anticipated effects of climate change; 3) The growing acknowledgement of a threat by authorities fosters informed decision making; 4) Our investigation allows us to identify numerous adaptation to climate change indicators; 5) The measurement of adaptation remains embryonic; 6) The definition of adaptation to climate change is not consistent; 7) Publications are characterized by a diversified typology of indicator categories; 8) The instrumental use of adaptation to climate change indicators is currently the most common; 9) Intermediate interesting cases are those of Australia, the Netherlands, the United States and New Zealand where monitoring and evaluation initiatives are occurring at varying stages of progress; 10) Three main conceptions of indicators are identified: pragmatic, constructivist and realistic. The work completed allows establishing ten findings and twelve recommendations, presented below in three sections, namely, those dealing with institutional aspects, conceptual aspects and methodological aspects.
Ce projet de recherche dresse un portrait analytique des efforts consentis en matière d’indicateu... more Ce projet de recherche dresse un portrait analytique des efforts consentis en matière d’indicateurs d’adaptation aux changements climatiques (ACC) en zones côtières dans certains pays de l’OCDE. Ce portrait analytique répond aux questions suivantes :1) De quelle manière (et par qui) les indicateurs en matière d’ACC se rapportant à la gestion côtière ont-ils été élaborés? 2) Comment ces indicateurs sont-ils utilisés dans la pratique pour des fins de prise de décision ou de soutien à la gestion? 3) Quels sont les mécanismes de prise en compte de ces indicateurs dans les mécanismes de reddition de comptes et d’ajustement des mesures d’ACC relatives à la gestion côtière? Pour répondre à ces questions, une approche par études de cas a été retenue. Une étude de cas permet d’approfondir les investigations sur des situations particulières jugées intéressantes par le chercheur. Il s’agit d’une « investigation empirique d'un phénomène contemporain, pris dans son contexte, spécialement quand les limites entre phénomène et contexte ne sont pas évidentes » (Yin, 2003). Une équipe de recherche a été constituée pour réaliser ces investigations en trois temps. Dans un premier temps, l’équipe a défini les balises pour le cadre méthodologique et le choix des pays de l’OCDE retenus, pour leur portée et leur comparabilité avec le contexte canadien. Dans un deuxième temps, des critères de sélection ont été établis pour repérer et extraire les documents pertinents (articles, chapitres de livres, rapports, documents gouvernementaux, sites Web, etc.). Dans un troisième temps, une grille d’analyse a été créée pour traiter cette documentation et structurer les apports et contributions au regard des questions posées. Six entrevues ont également été réalisées pour valider et questionner des répondants jugés pertinents dans certains des pays retenus pour cette recherche.
Le programme Jeunes explorateurs d'un jour (JEUJ) profitent à des milliers de jeunes québécois po... more Le programme Jeunes explorateurs d'un jour (JEUJ) profitent à des milliers de jeunes québécois pour les aider à trouver leur vocation professionnelle. Le programme a été mis en œuvre depuis presque une décennie. Le document apporte une évaluation objective de l'efficacité du programme et de ses effets.
La stratégie québécoise de lutte aux gangs de rue implique plusieurs ministères et milieux de rec... more La stratégie québécoise de lutte aux gangs de rue implique plusieurs ministères et milieux de recherche. Le document procure un protocole d'évaluation de la stratégie.
La stratégie québécoise de lutte contre les gangs de rue impliquent plusieurs interventions et or... more La stratégie québécoise de lutte contre les gangs de rue impliquent plusieurs interventions et organismes gouvernementaux pour la période allant de 2010 au 2014. Le rapport constitue une évaluation de cette stratégie, au regard de sa mise en œuvre, son implantation et ses effets.
Le Programme de gestion de la performance des cadres de la Ville de Montréal a pour objectif de s... more Le Programme de gestion de la performance des cadres de la Ville de Montréal a pour objectif de soutenir la Ville dans la prestation de services de qualité à ses citoyens, et ce, au meilleur coût possible (Services des ressources humaines, 2015). Ce programme se concrétise par un processus de communication annuelle (dans le cas présent, de décembre 2014 à novembre 2015) entre le gestionnaire et son supérieur en trois étapes, soit l’orientation, la mobilisation et l’évaluation. Afin d’entamer le cycle de gestion de la performance pour l’année 2015, 424 gestionnaires qui supervisent des cadres de la Ville de Montréal ont participé à l’Atelier sur la gestion de la performance donné par l’École nationale d’administration publique (ENAP) en novembre 2014. Cet atelier présentait le Programme de gestion de la performance des cadres et sa raison d’être. Il abordait ensuite la détermination et la rédaction d’objectifs et d’indicateurs de performance selon la méthode SMART par principe de cascade à partir des priorités de la Direction générale de la Ville de Montréal pour l’année 2015. Il se concluait en s’intéressant aux conditions de succès du Programme. L’atelier, le support visuel l’accompagnant ainsi que l’outil d’aide à l’élaboration d’objectifs SMART et d’indicateurs de performance remis durant la formation ont été conçus par la Direction des services aux organisations de l’ENAP spécifiquement pour les gestionnaires qui supervisent des cadres de la Ville de Montréal. Le présent rapport mesure le transfert des apprentissages dans la pratique et la gestion des activités organisationnelles et managériales.
L’évaluation porte sur la mise en œuvre de ces protocoles, leur efficacité (c.-à-d. les objectifs... more L’évaluation porte sur la mise en œuvre de ces protocoles, leur efficacité (c.-à-d. les objectifs mis en relation avec les résultats atteints) et leur efficience opérationnelle (c.-à-d. les ressources investies mises en relation avec les résultats atteints) afin d’identifier les personnes victimes d’actes criminels qui pourraient bénéficier des services offerts par les CAVAC et par les autres organismes d’aide aux personnes victimes d’actes criminels. La méthodologie retenue pour cette évaluation est de type mixte, c’est-à-dire qu’elle conjugue les collectes de données de nature quantitatives et qualitatives. Trois types de répondants ont été sollicités au cours de cette étude : les CAVAC, dont les 15 directrices générales ont été interrogées pour effectuer des entrevues téléphoniques, ainsi que les personnes responsables des protocoles au sein de ces organismes. Les corps policiers dans lesquels la personne-ressource pour la coordination des PRP au sein du poste de police a été invitée à répondre à un questionnaire électronique (n = 64). Des organismes communautaires d’aide aux personnes victimes d’actes criminels, eux aussi rejoints par un questionnaire électronique (n = 115). En plus de ces collectes, une revue de littérature scientifique a été réalisée pour mieux comprendre les enjeux liés à la problématique de l’aide aux personnes victimes d’actes criminels. Une analyse documentaire a aussi été effectuée, ayant pour objectif de dresser le portrait du comment est coordonnée l’aide initiale offerte aux personnes victimes d’actes criminels dans chacune des régions de même que l’application des différents PRP. Enfin, l’équipe d’évaluation a procédé à trois études de cas pour trois régions pour approfondir les investigations sur des situations particulières jugées intéressantes par l’évaluateur.
La recherche présente les résultats d'une évaluation portant sur l'action du gouvernement du Québ... more La recherche présente les résultats d'une évaluation portant sur l'action du gouvernement du Québec en matière de lutte aux risques et problématiques sociales posés par les gangs de rue au Québec (2010-2014). Les résultats sont issus d'un travail de sondage auprès des diverses parties prenantes concernées et d'analyses empiriques avancées. Le rapport avance les connaissances (conceptuelles, instrumentales, symboliques et procédurales) en matière d'optimisation de l'action gouvernementale contrant les phénomènes de gangs de rue et déviance associées.
Les gangs de rue préoccupent l'opinion publique et suscitent des interventions gouvernementales d... more Les gangs de rue préoccupent l'opinion publique et suscitent des interventions gouvernementales dédiées aux risques et problématiques en présence. Ce texte présente un référentiel pour l'évaluation des interventions gouvernementales visant les gangs de rue. Le texte aborde l'état de connaissances à ce sujet et balise les défis méthodologiques à relever par les évaluateurs concernés par l'étude des phénomènes de gangs de rue et les évaluations de la mise en œuvre et des effets de ces phénomènes.
The Ouranos Consortium awarded a grant to the Centre de recherche et d’expertise en évaluation (C... more The Ouranos Consortium awarded a grant to the Centre de recherche et d’expertise en évaluation (CREXE) of the École nationale d'administration publique (ENAP) for a research project originally titled "Development of indicators for the evaluation of planning related to adaptation to climate change (ACC).”
The aim of the project scope was to propose a frame of reference on ACC evaluation that would simplify the organization of knowledge on the subject. This frame of reference presents all elements to consider when evaluating adaptation planning. It involves, on the one hand, modeling the ACC problem and, on the other, identifying the many indicators in the literature pertaining to adaptation and situating them in relation to this problem.
This report is based first on a good understanding of the variables having an influence on the planning processes leading to the definition and implementation of ACC. Next, from a literature review in both the ACC and evaluation field, we suggest a number of general indicators of ACC performance that let us evaluate the processes that lead to the identification, planning and implementation of adaptation measures.
The project then examined two focus areas of intervention in Québec-Canada (forestry and the built environment and infrastructure in Southern Québec) to illustrate how these indicators could be used in these context of activities.
Identifier les indicateurs de l'adaptation du changement climatique en zones littorales des princ... more Identifier les indicateurs de l'adaptation du changement climatique en zones littorales des principaux pays occidentaux
Despite intense media coverage and socio-political controversies surrounding mega-projects, decis... more Despite intense media coverage and socio-political controversies surrounding mega-projects, decision makers, experts and public servants remain unable to totally scrutinize and take into account all the uncertainties threatening the validity of mega-project ex ante evaluation. These costly projects are notably plagued by uncertainties relating to: the ambiguity of their objectives; their gigantic size and vulnerability to political discontinuity (electoral cycle, fluctuating political support, legislature and regulatory changes); and the type of governance and accountability retained for their implementation (presence of optimism bias, sunk cost effect, strategic misrepresentation). These uncertainties are denounced for the extent of their possible damaging effects on mega-project viability (cost overruns, benefit shortfalls, prolonged delays, etc.). This paper explores how the combination of four different methodological paradigms frequently used in ex ante evaluations might curb these uncertainties in the Canadian context: cost-benefit analysis (CBA), social impact assessment (SIA), environmental impact assessment (EIA) and political uncertainty assessment (PUA). While taking into consideration the inherent weaknesses and biases of these methods, this paper will examine how this holistic approach will mitigate uncertainties and their undesired political, economic, social and environmental impacts that can result from a deficient ex ante evaluation. The paper advances knowledge and offers new perspectives using a representative sample of mega-projects actually implemented in different provinces and sectors (transportation, energy, public infrastructure).
En tant qu’instrument d’intervention gouvernementale, la réglementation constitue un levier d’act... more En tant qu’instrument d’intervention gouvernementale, la réglementation constitue un levier d’action qui peut créer générer plusieurs effets pervers, souvent très couteux pour la société civile et les acteurs économiques. L’analyse d’impact réglementaire (AIR) est une méthode d’évaluation qui vise à examiner les effets anticipés d’une action publique et communiquer ces informations aux responsables politiques. Cet ouvrage traite des enjeux de l’AIR ainsi que des repères méthodologiques et des étapes à suivre pour la réaliser. Il aborde les notions relatives à la documentation et à la formulation de problématiques publiques et expose les méthodes efficaces en matière de collecte et de traitement des données. Il présente les techniques reconnues pour mesurer le rendement d’une intervention publique, puis les meilleures pratiques visant à éclairer la prise de décision et à communiquer les résultats d’une AIR. Enfin, il comporte des études de cas propres à la France et au Québec pour contextualiser ce type d’analyse à l’aide d’exemples pratiques. Proposant un parcours balisé pour la réalisation de meilleures AIR, il servira de guide aux étudiants, aux analystes, aux gestionnaires, aux parties prenantes du secteur privé et, pourquoi pas, aux parlementaires.
Recently, the number of public policies initiated within the framework of CCA has increased in se... more Recently, the number of public policies initiated within the framework of CCA has increased in several western countries. On the other hand, the evaluation and measurement of CCA progress remain embryonic and inadequately charted by indicators quantifying the changes and impacts attributable to these policies that engender new stakes and concepts that are difficult to measure and do not always produce a consensus. Our paper presents the results of a scoping review examining the extent, scope and nature of the literature dealing with CCA indicators and metrics. Using scoping-review protocol, bibliographic databases were examined (for the years 2005–2015), using key words, in both English and French, dealing with the measurement of progress in public CCA efforts in coastal areas. In all, 165 documents were selected and analyzed and more than 200 indicators were looked at. Our analyses point out that the conceptual framework for CCA remains fragmented given the different scientific approaches and disciplines. The lack of consensus about CCA and about the indicators designed to assess CCA initiatives is a major limitation in coastal zone management. One way is to harmonize the practices for analyzing human and environmental systems respectively, both in the fields of the social and the natural sciences. In terms of governance, network management appears to be the most effective method in the context of social and environmental change. In terms of indicators, the WorldRiskIndex provides a useful estimate of the vulnerability of countries with respect to the effects of climate change in a context of rapid urbanization. In a regional context or a smaller geographical area, GIS stands out for being able to incorporate a lot of data, and to ensure their continuous update. Moreover, the ICZM is an effective approach at the national level that nevertheless takes into account the regional differences in coastal zones. The studies included in this analysis also demonstrate that the M. Lamari (*) • J. Bouchard • J. Jacob • L. Poulin-Larivière Centre de recherche et d'expertise en e ´valuation (CREXE), University of Québec, E ´ cole nationale d'administration publique,
—Background: Knowledge brokering is an emerging best practice strategy in knowledge translation a... more —Background: Knowledge brokering is an emerging best practice strategy in knowledge translation and exchange in the health sector. Knowledge brokering is defined as being an activity undertaken by intermediaries (individuals, organizations, networks, etc.) acting as " connectors " to link producers and end users of new knowledge. Despite the increase in research dealing with the importance of knowledge brokering in the health sector, little is still known about the profiles and practical practices of knowledge brokers. This article provides an empirical portrait of knowledge brokering in the Web 2.0 era. It goes beyond the rhetoric and the opposing anecdotal evidence to respond to two questions: i) What is the profile of knowledge brokers? and ii) How does knowledge brokering work in the health sector in Quebec, Canada? Methods: The data used come from a survey carried out in 2011 among a representative sample of knowledge brokers using Web 2.0 technologies in Canada. The theory of knowledge absorptive capacity is used as the analytical reference to describe the " black box " of the knowledge brokering process. Results: The authors of this article provide a detailed profile of knowledge-brokering activities (stages, behavior, support, etc.), brokers' individual attributes (age, gender, experience, training, preferences, etc.), as well as exchanged-knowledge specific attributes. Conclusion: This study shows the complexity and diversity of the knowledge brokers' tasks and emphasizes the importance of the training and support required to develop brokers' competencies and the collaborations required by the digital media coverage of knowledge as well as by the mobilization of evidence for decision making and public health policies.
Praxis de l’évaluation et de la révision des programmes publics
Approches, compétences et défis
... more Praxis de l’évaluation et de la révision des programmes publics Approches, compétences et défis
PLUS QUE JAMAIS, les instances gouvernementales (fédérales, provinciales municipales ou internationales) sont soumises à des impératifs d’optimisation de leurs politiques et de leurs programmes. Pour ce faire, l’évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l’action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l’éthique requises. Cet ouvrage traite de la praxis de l’évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d’expertise explorent la nature et l’ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l’international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d’intervention (la santé, le développement régional et international, l’innovation, le transfert de connaissances, etc.). Pas moins d’une trentaine d’approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n’en citer que quelques-unes. Les enseignements tirés de la lecture de ce livre seront d’une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d’évaluation ainsi que maîtriser, d’une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d’autre part, la professionnalisation et la synchronisation de l’évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.
This final report offers a synthesis of the global report prepared by the authors as part of a fu... more This final report offers a synthesis of the global report prepared by the authors as part of a funding granted by Natural Resources Canada and the Consortium on Regional Climatology and Adaptation to Climate Change Ouranos to undertake investigation project AP274: “Analyse des indicateurs en adaptation aux changements climatiques utilisés dans certains pays de l’Organisation de coopération et de développement économiques (OCDE): le cas de la gestion côtière.” The authors are grateful to Natural Resources Canada and the Consortium on Regional Climatology and Adaptation to Climate Change Ouranos for their continuous support in the completion of this research project. With support from Natural Resources Canada. The analysis of the issue of adaptation to climate change in coastal zones conducted as part of this project has enabled to distinguish ten main highlights: 1) Coastal zones are characterized by high vulnerability; 2) Uncertainty still surrounds the anticipated effects of climate change; 3) The growing acknowledgement of a threat by authorities fosters informed decision making; 4) Our investigation allows us to identify numerous adaptation to climate change indicators; 5) The measurement of adaptation remains embryonic; 6) The definition of adaptation to climate change is not consistent; 7) Publications are characterized by a diversified typology of indicator categories; 8) The instrumental use of adaptation to climate change indicators is currently the most common; 9) Intermediate interesting cases are those of Australia, the Netherlands, the United States and New Zealand where monitoring and evaluation initiatives are occurring at varying stages of progress; 10) Three main conceptions of indicators are identified: pragmatic, constructivist and realistic. The work completed allows establishing ten findings and twelve recommendations, presented below in three sections, namely, those dealing with institutional aspects, conceptual aspects and methodological aspects.
Ce projet de recherche dresse un portrait analytique des efforts consentis en matière d’indicateu... more Ce projet de recherche dresse un portrait analytique des efforts consentis en matière d’indicateurs d’adaptation aux changements climatiques (ACC) en zones côtières dans certains pays de l’OCDE. Ce portrait analytique répond aux questions suivantes :1) De quelle manière (et par qui) les indicateurs en matière d’ACC se rapportant à la gestion côtière ont-ils été élaborés? 2) Comment ces indicateurs sont-ils utilisés dans la pratique pour des fins de prise de décision ou de soutien à la gestion? 3) Quels sont les mécanismes de prise en compte de ces indicateurs dans les mécanismes de reddition de comptes et d’ajustement des mesures d’ACC relatives à la gestion côtière? Pour répondre à ces questions, une approche par études de cas a été retenue. Une étude de cas permet d’approfondir les investigations sur des situations particulières jugées intéressantes par le chercheur. Il s’agit d’une « investigation empirique d'un phénomène contemporain, pris dans son contexte, spécialement quand les limites entre phénomène et contexte ne sont pas évidentes » (Yin, 2003). Une équipe de recherche a été constituée pour réaliser ces investigations en trois temps. Dans un premier temps, l’équipe a défini les balises pour le cadre méthodologique et le choix des pays de l’OCDE retenus, pour leur portée et leur comparabilité avec le contexte canadien. Dans un deuxième temps, des critères de sélection ont été établis pour repérer et extraire les documents pertinents (articles, chapitres de livres, rapports, documents gouvernementaux, sites Web, etc.). Dans un troisième temps, une grille d’analyse a été créée pour traiter cette documentation et structurer les apports et contributions au regard des questions posées. Six entrevues ont également été réalisées pour valider et questionner des répondants jugés pertinents dans certains des pays retenus pour cette recherche.
Le programme Jeunes explorateurs d'un jour (JEUJ) profitent à des milliers de jeunes québécois po... more Le programme Jeunes explorateurs d'un jour (JEUJ) profitent à des milliers de jeunes québécois pour les aider à trouver leur vocation professionnelle. Le programme a été mis en œuvre depuis presque une décennie. Le document apporte une évaluation objective de l'efficacité du programme et de ses effets.
La stratégie québécoise de lutte aux gangs de rue implique plusieurs ministères et milieux de rec... more La stratégie québécoise de lutte aux gangs de rue implique plusieurs ministères et milieux de recherche. Le document procure un protocole d'évaluation de la stratégie.
La stratégie québécoise de lutte contre les gangs de rue impliquent plusieurs interventions et or... more La stratégie québécoise de lutte contre les gangs de rue impliquent plusieurs interventions et organismes gouvernementaux pour la période allant de 2010 au 2014. Le rapport constitue une évaluation de cette stratégie, au regard de sa mise en œuvre, son implantation et ses effets.
Le Programme de gestion de la performance des cadres de la Ville de Montréal a pour objectif de s... more Le Programme de gestion de la performance des cadres de la Ville de Montréal a pour objectif de soutenir la Ville dans la prestation de services de qualité à ses citoyens, et ce, au meilleur coût possible (Services des ressources humaines, 2015). Ce programme se concrétise par un processus de communication annuelle (dans le cas présent, de décembre 2014 à novembre 2015) entre le gestionnaire et son supérieur en trois étapes, soit l’orientation, la mobilisation et l’évaluation. Afin d’entamer le cycle de gestion de la performance pour l’année 2015, 424 gestionnaires qui supervisent des cadres de la Ville de Montréal ont participé à l’Atelier sur la gestion de la performance donné par l’École nationale d’administration publique (ENAP) en novembre 2014. Cet atelier présentait le Programme de gestion de la performance des cadres et sa raison d’être. Il abordait ensuite la détermination et la rédaction d’objectifs et d’indicateurs de performance selon la méthode SMART par principe de cascade à partir des priorités de la Direction générale de la Ville de Montréal pour l’année 2015. Il se concluait en s’intéressant aux conditions de succès du Programme. L’atelier, le support visuel l’accompagnant ainsi que l’outil d’aide à l’élaboration d’objectifs SMART et d’indicateurs de performance remis durant la formation ont été conçus par la Direction des services aux organisations de l’ENAP spécifiquement pour les gestionnaires qui supervisent des cadres de la Ville de Montréal. Le présent rapport mesure le transfert des apprentissages dans la pratique et la gestion des activités organisationnelles et managériales.
L’évaluation porte sur la mise en œuvre de ces protocoles, leur efficacité (c.-à-d. les objectifs... more L’évaluation porte sur la mise en œuvre de ces protocoles, leur efficacité (c.-à-d. les objectifs mis en relation avec les résultats atteints) et leur efficience opérationnelle (c.-à-d. les ressources investies mises en relation avec les résultats atteints) afin d’identifier les personnes victimes d’actes criminels qui pourraient bénéficier des services offerts par les CAVAC et par les autres organismes d’aide aux personnes victimes d’actes criminels. La méthodologie retenue pour cette évaluation est de type mixte, c’est-à-dire qu’elle conjugue les collectes de données de nature quantitatives et qualitatives. Trois types de répondants ont été sollicités au cours de cette étude : les CAVAC, dont les 15 directrices générales ont été interrogées pour effectuer des entrevues téléphoniques, ainsi que les personnes responsables des protocoles au sein de ces organismes. Les corps policiers dans lesquels la personne-ressource pour la coordination des PRP au sein du poste de police a été invitée à répondre à un questionnaire électronique (n = 64). Des organismes communautaires d’aide aux personnes victimes d’actes criminels, eux aussi rejoints par un questionnaire électronique (n = 115). En plus de ces collectes, une revue de littérature scientifique a été réalisée pour mieux comprendre les enjeux liés à la problématique de l’aide aux personnes victimes d’actes criminels. Une analyse documentaire a aussi été effectuée, ayant pour objectif de dresser le portrait du comment est coordonnée l’aide initiale offerte aux personnes victimes d’actes criminels dans chacune des régions de même que l’application des différents PRP. Enfin, l’équipe d’évaluation a procédé à trois études de cas pour trois régions pour approfondir les investigations sur des situations particulières jugées intéressantes par l’évaluateur.
La recherche présente les résultats d'une évaluation portant sur l'action du gouvernement du Québ... more La recherche présente les résultats d'une évaluation portant sur l'action du gouvernement du Québec en matière de lutte aux risques et problématiques sociales posés par les gangs de rue au Québec (2010-2014). Les résultats sont issus d'un travail de sondage auprès des diverses parties prenantes concernées et d'analyses empiriques avancées. Le rapport avance les connaissances (conceptuelles, instrumentales, symboliques et procédurales) en matière d'optimisation de l'action gouvernementale contrant les phénomènes de gangs de rue et déviance associées.
Les gangs de rue préoccupent l'opinion publique et suscitent des interventions gouvernementales d... more Les gangs de rue préoccupent l'opinion publique et suscitent des interventions gouvernementales dédiées aux risques et problématiques en présence. Ce texte présente un référentiel pour l'évaluation des interventions gouvernementales visant les gangs de rue. Le texte aborde l'état de connaissances à ce sujet et balise les défis méthodologiques à relever par les évaluateurs concernés par l'étude des phénomènes de gangs de rue et les évaluations de la mise en œuvre et des effets de ces phénomènes.
The Ouranos Consortium awarded a grant to the Centre de recherche et d’expertise en évaluation (C... more The Ouranos Consortium awarded a grant to the Centre de recherche et d’expertise en évaluation (CREXE) of the École nationale d'administration publique (ENAP) for a research project originally titled "Development of indicators for the evaluation of planning related to adaptation to climate change (ACC).”
The aim of the project scope was to propose a frame of reference on ACC evaluation that would simplify the organization of knowledge on the subject. This frame of reference presents all elements to consider when evaluating adaptation planning. It involves, on the one hand, modeling the ACC problem and, on the other, identifying the many indicators in the literature pertaining to adaptation and situating them in relation to this problem.
This report is based first on a good understanding of the variables having an influence on the planning processes leading to the definition and implementation of ACC. Next, from a literature review in both the ACC and evaluation field, we suggest a number of general indicators of ACC performance that let us evaluate the processes that lead to the identification, planning and implementation of adaptation measures.
The project then examined two focus areas of intervention in Québec-Canada (forestry and the built environment and infrastructure in Southern Québec) to illustrate how these indicators could be used in these context of activities.
Identifier les indicateurs de l'adaptation du changement climatique en zones littorales des princ... more Identifier les indicateurs de l'adaptation du changement climatique en zones littorales des principaux pays occidentaux
Despite intense media coverage and socio-political controversies surrounding mega-projects, decis... more Despite intense media coverage and socio-political controversies surrounding mega-projects, decision makers, experts and public servants remain unable to totally scrutinize and take into account all the uncertainties threatening the validity of mega-project ex ante evaluation. These costly projects are notably plagued by uncertainties relating to: the ambiguity of their objectives; their gigantic size and vulnerability to political discontinuity (electoral cycle, fluctuating political support, legislature and regulatory changes); and the type of governance and accountability retained for their implementation (presence of optimism bias, sunk cost effect, strategic misrepresentation). These uncertainties are denounced for the extent of their possible damaging effects on mega-project viability (cost overruns, benefit shortfalls, prolonged delays, etc.). This paper explores how the combination of four different methodological paradigms frequently used in ex ante evaluations might curb these uncertainties in the Canadian context: cost-benefit analysis (CBA), social impact assessment (SIA), environmental impact assessment (EIA) and political uncertainty assessment (PUA). While taking into consideration the inherent weaknesses and biases of these methods, this paper will examine how this holistic approach will mitigate uncertainties and their undesired political, economic, social and environmental impacts that can result from a deficient ex ante evaluation. The paper advances knowledge and offers new perspectives using a representative sample of mega-projects actually implemented in different provinces and sectors (transportation, energy, public infrastructure).
En tant qu’instrument d’intervention gouvernementale, la réglementation constitue un levier d’act... more En tant qu’instrument d’intervention gouvernementale, la réglementation constitue un levier d’action qui peut créer générer plusieurs effets pervers, souvent très couteux pour la société civile et les acteurs économiques. L’analyse d’impact réglementaire (AIR) est une méthode d’évaluation qui vise à examiner les effets anticipés d’une action publique et communiquer ces informations aux responsables politiques. Cet ouvrage traite des enjeux de l’AIR ainsi que des repères méthodologiques et des étapes à suivre pour la réaliser. Il aborde les notions relatives à la documentation et à la formulation de problématiques publiques et expose les méthodes efficaces en matière de collecte et de traitement des données. Il présente les techniques reconnues pour mesurer le rendement d’une intervention publique, puis les meilleures pratiques visant à éclairer la prise de décision et à communiquer les résultats d’une AIR. Enfin, il comporte des études de cas propres à la France et au Québec pour contextualiser ce type d’analyse à l’aide d’exemples pratiques. Proposant un parcours balisé pour la réalisation de meilleures AIR, il servira de guide aux étudiants, aux analystes, aux gestionnaires, aux parties prenantes du secteur privé et, pourquoi pas, aux parlementaires.
Plus que jamais, les instances gouvernementales (fédérales, provinciales, municipales ou internat... more Plus que jamais, les instances gouvernementales (fédérales, provinciales, municipales ou internationales) sont soumises à des impératifs d'optimisation de leurs politiques et de leurs programmes. Pour ce faire, l'évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l'action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations, avec la rigueur et l'éthique requises. Cet ouvrage traite de la praxis de l'évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d'expertise explorent la nature et l'ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l'international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d'intervention (la santé, le développement régional et international, l'innovation, le transfert de connaissances, etc.). Pas moins d'une trentaine d'approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n'en citer que quelques-unes. Les enseignements tirés de la lecture de ce livre seront d'une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d'évaluation ainsi que maîtriser, d'une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d'autre part, la professionnalisation et la synchronisation de l'évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence. Sous la direction de Moktar Lamari et Johann Lucas Jacob 2016 l 418 pages 978-2-7605-4439-0 43,00 $ PAPIER 978-2-7605-4440-6 31,99 $ PDF 978-2-7605-4441-3 31,99 $ EPUB
Praxis de l’évaluation et de la révision des programmes publics
Approches, compétences et défis
... more Praxis de l’évaluation et de la révision des programmes publics Approches, compétences et défis
PLUS QUE JAMAIS, les instances gouvernementales (fédérales, provinciales municipales ou internationales) sont soumises à des impératifs d’optimisation de leurs politiques et de leurs programmes. Pour ce faire, l’évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l’action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l’éthique requises. Cet ouvrage traite de la praxis de l’évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d’expertise explorent la nature et l’ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l’international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d’intervention (la santé, le développement régional et international, l’innovation, le transfert de connaissances, etc.). Pas moins d’une trentaine d’approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n’en citer que quelques-unes. Les enseignements tirés de la lecture de ce livre seront d’une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d’évaluation ainsi que maîtriser, d’une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d’autre part, la professionnalisation et la synchronisation de l’évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.
Les changements climatiques entraînent des perturbations importantes en milieu côtier, manifestée... more Les changements climatiques entraînent des perturbations importantes en milieu côtier, manifestées notamment par l’augmentation du niveau de la mer ou encore par l’intensification des événements météorologiques extrêmes. Des mesures d’adaptation doivent ainsi être prises par les pays afin de contrer ces effets néfastes et de gouverner efficacement les changements climatiques. Ces mesures et stratégies novatrices sont encore insuffisamment évaluées pour apprécier les progrès réalisés et distinguer celles qui sont efficaces de celles qui ne le sont pas. Le présent ouvrage dresse un portrait analytique des efforts consentis en matière de conception et d’utilisation d’indicateurs d’adaptation aux changements climatiques (ACC) en zones côtières. L’étude se fonde sur des investigations empiriques et systématiques dans le contexte d’un ensemble de pays membres de l’Organisation de coopération et de développement économiques (OCDE), soit le Royaume-Uni, les Pays-Bas, la France, les États-Unis, l’Australie, la Nouvelle-Zélande et le Canada. Elle repose en outre sur une grille d’analyse articulée autour des questions suivantes : • De quelle manière (et par qui) les indicateurs en matière d’ACC se rapportant à la gestion côtière ont-ils été élaborés ? • Comment ces indicateurs sont-ils conçus et utilisés dans la pratique pour des fins • de prise de décision ou de soutien à la gestion ? • Quels sont les mécanismes de prise en compte de ces indicateurs dans les mécanismes de reddition de comptes et d’ajustement des mesures d’ACC relatives à la gestion côtière ? Si une multitude d’indicateurs sont énoncés dans les différents pays, force est de constater que les expériences institutionnalisées et systématisées d’utilisation de ces indicateurs dans les prises de décisions en adaptation en milieu côtier demeurent rares et parcellaires. Cet ouvrage contribuera certainement à raffiner le caractère encore embryonnaire et dissonant d’un grand nombre d’indicateurs de mesure de l’ACC. 2015, 434 pages, D4366, ISBN 978-2-7605-4366-9
En tant qu’instrument d’intervention gouvernementale, la réglementation constitue un levier d’act... more En tant qu’instrument d’intervention gouvernementale, la réglementation constitue un levier d’action qui peut créer générer plusieurs effets pervers, souvent très couteux pour la société civile et les acteurs économiques. L’analyse d’impact réglementaire (AIR) est une méthode d’évaluation qui vise à examiner les effets anticipés d’une action publique et communiquer ces informations aux responsables politiques. Cet ouvrage traite des enjeux de l’AIR ainsi que des repères méthodologiques et des étapes à suivre pour la réaliser. Il aborde les notions relatives à la documentation et à la formulation de problématiques publiques et expose les méthodes efficaces en matière de collecte et de traitement des données. Il présente les techniques reconnues pour mesurer le rendement d’une intervention publique, puis les meilleures pratiques visant à éclairer la prise de décision et à communiquer les résultats d’une AIR. Enfin, il comporte des études de cas propres à la France et au Québec pour contextualiser ce type d’analyse à l’aide d’exemples pratiques. Proposant un parcours balisé pour la réalisation de meilleures AIR, il servira de guide aux étudiants, aux analystes, aux gestionnaires, aux parties prenantes du secteur privé et, pourquoi pas, aux parlementaires.
LES CHANGEMENTS CLIMATIQUES ENTRAÎNENT DES PERTURBATIONS IMPORTANTES en milieu côtier, notamment ... more LES CHANGEMENTS CLIMATIQUES ENTRAÎNENT DES PERTURBATIONS IMPORTANTES en milieu côtier, notamment l’augmentation du niveau de la mer ou encore l’intensification des événements météorologiques extrêmes. Des mesures d’adaptation doivent ainsi être prises par les pays afin de gérer efficacement ces effets néfastes. Le présent ouvrage dresse un portrait analytique des efforts consentis en matière d’indicateurs d’adaptation aux changements climatiques (ACC) en zones côtières. L’étude se fonde sur le contexte d’un ensemble de pays membres de l’Organisation de coopération et de développement économiques, soit l’Australie, le Canada, les États-Unis, la France, la Nouvelle-Zélande, les Pays-Bas et le Royaume-Uni. Elle repose en outre sur une grille d’analyse articulée autour des questions suivantes : i) De quelle manière (et par qui) les indicateurs en matière d’ACC se rapportant à la gestion côtière ont-ils été élaborés ? ii) Comment ces indicateurs sont-ils utilisés dans la pratique pour des fi ns de prise de décision ou de soutien à la gestion ?iii) Quels sont les mécanismes de prise en compte de ces indicateurs dans les mécanismes de reddition de comptes et d’ajustement des mesures d’ACC relatives à la gestion côtière ? Si une multitude d’indicateurs sont énoncés dans les différents pays, force est de constater que les expériences institutionnalisées et systématisées d’utilisation de ces indicateurs dans les prises de décisions en adaptation en milieu côtier demeurent rares. Cet ouvrage contribuera certainement à raffiner le caractère encore embryonnaire et dissonant d’un grand nombre d’indicateurs de mesure de l’ACC.
Le présent document comporte trois parties. Une première partie est constituée des principaux con... more Le présent document comporte trois parties. Une première partie est constituée des principaux constats procurés par les investigations conduites dans le cadre de l’évaluation de l’expérience québécoise en matière d’enseignement de l’anglais, comme langue seconde au niveau du primaire au Québec. Une trentaine de constats sont formulés de manière sommaire. La deuxième partie est constituée de développements sous forme de question-réponse, pour mieux répondre à des interrogations éventuelles qui peuvent se poser dans le cadre du témoignage fait auprès du Comité sénatorial des langues officielles. Enfin, une troisième partie résume les 10 enseignements que nous livrons pour aider la prise de décision publique à ce sujet.
Uploads
Papers by Moktar Lamari
Approches, compétences et défis
PLUS QUE JAMAIS, les instances gouvernementales (fédérales, provinciales municipales ou internationales) sont soumises à des impératifs d’optimisation de leurs politiques et de leurs programmes. Pour ce faire, l’évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l’action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l’éthique requises.
Cet ouvrage traite de la praxis de l’évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d’expertise explorent la nature et l’ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l’international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d’intervention (la santé, le développement régional et international, l’innovation, le transfert de connaissances, etc.). Pas moins d’une trentaine d’approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n’en citer que quelques-unes.
Les enseignements tirés de la lecture de ce livre seront d’une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d’évaluation ainsi que maîtriser, d’une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d’autre part, la professionnalisation et la synchronisation de l’évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.
The authors are grateful to Natural Resources Canada and the Consortium on Regional Climatology and Adaptation to Climate Change Ouranos for their continuous support in the completion of this research project. With support from Natural Resources Canada.
The analysis of the issue of adaptation to climate change in coastal zones conducted as part of this project has enabled to distinguish ten main highlights:
1) Coastal zones are characterized by high vulnerability;
2) Uncertainty still surrounds the anticipated effects of climate change;
3) The growing acknowledgement of a threat by authorities fosters informed decision making;
4) Our investigation allows us to identify numerous adaptation to climate change indicators;
5) The measurement of adaptation remains embryonic;
6) The definition of adaptation to climate change is not consistent;
7) Publications are characterized by a diversified typology of indicator categories;
8) The instrumental use of adaptation to climate change indicators is currently the most common;
9) Intermediate interesting cases are those of Australia, the Netherlands, the United States and New Zealand where monitoring and evaluation initiatives are occurring at varying stages of progress;
10) Three main conceptions of indicators are identified: pragmatic, constructivist and realistic.
The work completed allows establishing ten findings and twelve recommendations, presented below in three sections, namely, those dealing with institutional aspects, conceptual aspects and methodological aspects.
Pour répondre à ces questions, une approche par études de cas a été retenue. Une étude de cas permet d’approfondir les investigations sur des situations particulières jugées intéressantes par le chercheur. Il s’agit d’une « investigation empirique d'un phénomène contemporain, pris dans son contexte, spécialement quand les limites entre phénomène et contexte ne sont pas évidentes » (Yin, 2003).
Une équipe de recherche a été constituée pour réaliser ces investigations en trois temps. Dans un premier temps, l’équipe a défini les balises pour le cadre méthodologique et le choix des pays de l’OCDE retenus, pour leur portée et leur comparabilité avec le contexte canadien. Dans un deuxième temps, des critères de sélection ont été établis pour repérer et extraire les documents pertinents (articles, chapitres de livres, rapports, documents gouvernementaux, sites Web, etc.). Dans un troisième temps, une grille d’analyse a été créée pour traiter cette documentation et structurer les apports et contributions au regard des questions posées. Six entrevues ont également été réalisées pour valider et questionner des répondants jugés pertinents dans certains des pays retenus pour cette recherche.
Afin d’entamer le cycle de gestion de la performance pour l’année 2015, 424 gestionnaires qui supervisent des cadres de la Ville de Montréal ont participé à l’Atelier sur la gestion de la performance donné par l’École nationale d’administration publique (ENAP) en novembre 2014. Cet atelier présentait le Programme de gestion de la performance des cadres et sa raison d’être. Il abordait ensuite la détermination et la rédaction d’objectifs et d’indicateurs de performance selon la méthode SMART par principe de cascade à partir des priorités de la Direction générale de la Ville de Montréal pour l’année 2015. Il se concluait en s’intéressant aux conditions de succès du Programme. L’atelier, le support visuel l’accompagnant ainsi que l’outil d’aide à l’élaboration d’objectifs SMART et d’indicateurs de performance remis durant la formation ont été conçus par la Direction des services aux organisations de l’ENAP spécifiquement pour les gestionnaires qui supervisent des cadres de la Ville de Montréal. Le présent rapport mesure le transfert des apprentissages dans la pratique et la gestion des activités organisationnelles et managériales.
The aim of the project scope was to propose a frame of reference on ACC evaluation that would simplify the organization of knowledge on the subject. This frame of reference presents all elements to consider when evaluating adaptation planning. It involves, on the one hand, modeling the ACC problem and, on the other, identifying the many indicators in the literature pertaining to adaptation and situating them in relation to this problem.
This report is based first on a good understanding of the variables having an influence on the planning processes leading to the definition and implementation of ACC. Next, from a literature review in both the ACC and evaluation field, we suggest a number of general indicators of ACC performance that let us evaluate the processes that lead to the identification, planning and implementation of adaptation measures.
The project then examined two focus areas of intervention in Québec-Canada (forestry and the built environment and infrastructure in Southern Québec) to illustrate how these indicators could be used in these context of activities.
This paper explores how the combination of four different methodological paradigms frequently used in ex ante evaluations might curb these uncertainties in the Canadian context: cost-benefit analysis (CBA), social impact assessment (SIA), environmental impact assessment (EIA) and political uncertainty assessment (PUA). While taking into consideration the inherent weaknesses and biases of these methods, this paper will examine how this holistic approach will mitigate uncertainties and their undesired political, economic, social and environmental impacts that can result from a deficient ex ante evaluation. The paper advances knowledge and offers new perspectives using a representative sample of mega-projects actually implemented in different provinces and sectors (transportation, energy, public infrastructure).
Approches, compétences et défis
PLUS QUE JAMAIS, les instances gouvernementales (fédérales, provinciales municipales ou internationales) sont soumises à des impératifs d’optimisation de leurs politiques et de leurs programmes. Pour ce faire, l’évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l’action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l’éthique requises.
Cet ouvrage traite de la praxis de l’évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d’expertise explorent la nature et l’ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l’international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d’intervention (la santé, le développement régional et international, l’innovation, le transfert de connaissances, etc.). Pas moins d’une trentaine d’approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n’en citer que quelques-unes.
Les enseignements tirés de la lecture de ce livre seront d’une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d’évaluation ainsi que maîtriser, d’une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d’autre part, la professionnalisation et la synchronisation de l’évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.
The authors are grateful to Natural Resources Canada and the Consortium on Regional Climatology and Adaptation to Climate Change Ouranos for their continuous support in the completion of this research project. With support from Natural Resources Canada.
The analysis of the issue of adaptation to climate change in coastal zones conducted as part of this project has enabled to distinguish ten main highlights:
1) Coastal zones are characterized by high vulnerability;
2) Uncertainty still surrounds the anticipated effects of climate change;
3) The growing acknowledgement of a threat by authorities fosters informed decision making;
4) Our investigation allows us to identify numerous adaptation to climate change indicators;
5) The measurement of adaptation remains embryonic;
6) The definition of adaptation to climate change is not consistent;
7) Publications are characterized by a diversified typology of indicator categories;
8) The instrumental use of adaptation to climate change indicators is currently the most common;
9) Intermediate interesting cases are those of Australia, the Netherlands, the United States and New Zealand where monitoring and evaluation initiatives are occurring at varying stages of progress;
10) Three main conceptions of indicators are identified: pragmatic, constructivist and realistic.
The work completed allows establishing ten findings and twelve recommendations, presented below in three sections, namely, those dealing with institutional aspects, conceptual aspects and methodological aspects.
Pour répondre à ces questions, une approche par études de cas a été retenue. Une étude de cas permet d’approfondir les investigations sur des situations particulières jugées intéressantes par le chercheur. Il s’agit d’une « investigation empirique d'un phénomène contemporain, pris dans son contexte, spécialement quand les limites entre phénomène et contexte ne sont pas évidentes » (Yin, 2003).
Une équipe de recherche a été constituée pour réaliser ces investigations en trois temps. Dans un premier temps, l’équipe a défini les balises pour le cadre méthodologique et le choix des pays de l’OCDE retenus, pour leur portée et leur comparabilité avec le contexte canadien. Dans un deuxième temps, des critères de sélection ont été établis pour repérer et extraire les documents pertinents (articles, chapitres de livres, rapports, documents gouvernementaux, sites Web, etc.). Dans un troisième temps, une grille d’analyse a été créée pour traiter cette documentation et structurer les apports et contributions au regard des questions posées. Six entrevues ont également été réalisées pour valider et questionner des répondants jugés pertinents dans certains des pays retenus pour cette recherche.
Afin d’entamer le cycle de gestion de la performance pour l’année 2015, 424 gestionnaires qui supervisent des cadres de la Ville de Montréal ont participé à l’Atelier sur la gestion de la performance donné par l’École nationale d’administration publique (ENAP) en novembre 2014. Cet atelier présentait le Programme de gestion de la performance des cadres et sa raison d’être. Il abordait ensuite la détermination et la rédaction d’objectifs et d’indicateurs de performance selon la méthode SMART par principe de cascade à partir des priorités de la Direction générale de la Ville de Montréal pour l’année 2015. Il se concluait en s’intéressant aux conditions de succès du Programme. L’atelier, le support visuel l’accompagnant ainsi que l’outil d’aide à l’élaboration d’objectifs SMART et d’indicateurs de performance remis durant la formation ont été conçus par la Direction des services aux organisations de l’ENAP spécifiquement pour les gestionnaires qui supervisent des cadres de la Ville de Montréal. Le présent rapport mesure le transfert des apprentissages dans la pratique et la gestion des activités organisationnelles et managériales.
The aim of the project scope was to propose a frame of reference on ACC evaluation that would simplify the organization of knowledge on the subject. This frame of reference presents all elements to consider when evaluating adaptation planning. It involves, on the one hand, modeling the ACC problem and, on the other, identifying the many indicators in the literature pertaining to adaptation and situating them in relation to this problem.
This report is based first on a good understanding of the variables having an influence on the planning processes leading to the definition and implementation of ACC. Next, from a literature review in both the ACC and evaluation field, we suggest a number of general indicators of ACC performance that let us evaluate the processes that lead to the identification, planning and implementation of adaptation measures.
The project then examined two focus areas of intervention in Québec-Canada (forestry and the built environment and infrastructure in Southern Québec) to illustrate how these indicators could be used in these context of activities.
This paper explores how the combination of four different methodological paradigms frequently used in ex ante evaluations might curb these uncertainties in the Canadian context: cost-benefit analysis (CBA), social impact assessment (SIA), environmental impact assessment (EIA) and political uncertainty assessment (PUA). While taking into consideration the inherent weaknesses and biases of these methods, this paper will examine how this holistic approach will mitigate uncertainties and their undesired political, economic, social and environmental impacts that can result from a deficient ex ante evaluation. The paper advances knowledge and offers new perspectives using a representative sample of mega-projects actually implemented in different provinces and sectors (transportation, energy, public infrastructure).
Approches, compétences et défis
PLUS QUE JAMAIS, les instances gouvernementales (fédérales, provinciales municipales ou internationales) sont soumises à des impératifs d’optimisation de leurs politiques et de leurs programmes. Pour ce faire, l’évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l’action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l’éthique requises.
Cet ouvrage traite de la praxis de l’évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d’expertise explorent la nature et l’ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l’international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d’intervention (la santé, le développement régional et international, l’innovation, le transfert de connaissances, etc.). Pas moins d’une trentaine d’approches évaluatives sont présentées, dont les évaluations formatives, sommatives, « ascriptives » et complexes pour n’en citer que quelques-unes.
Les enseignements tirés de la lecture de ce livre seront d’une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d’évaluation ainsi que maîtriser, d’une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d’autre part, la professionnalisation et la synchronisation de l’évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.
Le présent ouvrage dresse un portrait analytique des efforts consentis en matière de conception et d’utilisation d’indicateurs d’adaptation aux changements climatiques (ACC) en zones côtières. L’étude se fonde sur des investigations empiriques et systématiques dans le contexte d’un ensemble de pays membres de l’Organisation de coopération et de développement économiques (OCDE), soit le Royaume-Uni, les Pays-Bas, la France, les États-Unis, l’Australie, la Nouvelle-Zélande et le Canada. Elle repose en outre sur une grille d’analyse articulée autour des questions suivantes :
• De quelle manière (et par qui) les indicateurs en matière d’ACC se rapportant à la gestion côtière ont-ils été élaborés ?
• Comment ces indicateurs sont-ils conçus et utilisés dans la pratique pour des fins
• de prise de décision ou de soutien à la gestion ?
• Quels sont les mécanismes de prise en compte de ces indicateurs dans les mécanismes de reddition de comptes et d’ajustement des mesures d’ACC relatives à la gestion côtière ?
Si une multitude d’indicateurs sont énoncés dans les différents pays, force est de constater que les expériences institutionnalisées et systématisées d’utilisation de ces indicateurs dans les prises de décisions en adaptation en milieu côtier demeurent rares et parcellaires. Cet ouvrage contribuera certainement à raffiner le caractère encore embryonnaire et dissonant d’un grand nombre d’indicateurs de mesure de l’ACC.
2015, 434 pages, D4366, ISBN 978-2-7605-4366-9