Évaluation d’impact : un luxe réservé aux grands projets ?
Un projet peut avoir atteint ses objectifs opérationnels, respecté son calendrier et produit les réalisations prévues sans pour autant permettre de répondre à une question essentielle : quels changements l’intervention a-t-elle réellement contribué à produire ? Cette question est au cœur de l’évaluation d’impact. Pourtant, celle-ci reste souvent associée aux grands programmes disposant de budgets importants, de longues périodes de mise en œuvre et d’équipes spécialisées.
Dans cette représentation, les petits et moyens projets devraient se limiter au suivi des activités, des réalisations et de quelques indicateurs de résultats, tandis que l’analyse des effets serait réservée aux interventions d’envergure.
Cette distinction est pourtant trompeuse. L’enjeu n’est pas de déterminer si un projet est suffisamment grand pour « mériter » une évaluation d’impact. Il est plutôt de déterminer quel niveau de preuve est nécessaire, compte tenu de la question posée, de la nature de l’intervention, des décisions à prendre et des ressources disponibles.
La question n’est donc pas de reproduire à petite échelle les dispositifs d’évaluation des grands programmes. Elle est de savoir comment produire un niveau de preuve suffisamment crédible pour éclairer une décision.
Les principaux freins : coût, compétences et temps
Trois obstacles expliquent principalement la réticence des petites et moyennes structures.
Suivre les activités ne suffit pas à démontrer les effets
Un système de suivi peut parfaitement fonctionner tout en restant insuffisant pour répondre aux questions portant sur les effets d’une intervention. Il peut indiquer combien de formations ont été organisées, combien de personnes ont été touchées, combien de services ont été fournis, quel taux de réalisation a été atteint ou combien d’infrastructures ont été réalisées.
Ces informations sont importantes pour piloter la mise en œuvre. Mais elles ne suffisent pas à apprécier les changements produits. Une formation réalisée ne démontre pas à elle seule une amélioration des pratiques. Un service fourni ne démontre pas automatiquement une amélioration durable de la situation des bénéficiaires. Une infrastructure construite ne permet pas, à elle seule, de conclure à son utilisation effective.
Le suivi renseigne principalement ce qui a été fait et ce qui a été observé. L’évaluation cherche à aller plus loin : que signifient les changements observés, comment peuvent-ils être expliqués et, lorsque la question le justifie, dans quelle mesure peuvent-ils être associés à l’intervention ?
Cette distinction entre activités, produits, résultats et effets est fondamentale. Sans elle, un projet peut afficher d’excellents taux de réalisation tout en disposant de peu d’éléments permettant de savoir si son intervention fonctionne réellement.
À retenir
Réalisation n’est pas effet
La réalisation d’une activité constitue une information sur la mise en œuvre. Elle ne constitue pas, à elle seule, une preuve de l’effet produit par l’intervention.
L'absence d'évaluation crée une dette de connaissance
Renoncer à analyser les effets d’une intervention ne signifie pas seulement produire un rapport moins complet. Cela peut créer une véritable dette de connaissance.
Cette difficulté devient particulièrement importante lorsqu’une décision de poursuite, d’adaptation ou de passage à l’échelle doit être prise.
L’évaluation doit donc être considérée non seulement comme un exercice de redevabilité, mais également comme un investissement dans la connaissance nécessaire au pilotage et à la décision.
Une évaluation d'impact n'est pas nécessairement un dispositif expérimental lourd
L’association systématique entre évaluation d’impact et randomisation, groupe témoin, enquêtes de grande ampleur ou analyses économétriques contribue à rendre l’exercice intimidant. Ces méthodes peuvent effectivement être pertinentes lorsque la question porte sur une relation causale et que les conditions méthodologiques nécessaires sont réunies. Mais elles ne constituent pas la seule manière d’étudier les effets d’une intervention.
Les méthodes mixtes peuvent notamment être utiles lorsque les données quantitatives permettent de mesurer l’évolution d’un phénomène tandis que les données qualitatives permettent d’explorer les mécanismes, les perceptions et les facteurs contextuels susceptibles de l’expliquer. L’analyse de contribution peut également être pertinente lorsque l’intervention s’inscrit dans un environnement complexe. Le choix se construit alors selon la même logique que pour toute méthode de suivi-évaluation : à partir de la question posée, et non de la technique disponible.
L’objectif n’est donc pas de construire le dispositif méthodologique le plus complexe possible. Il est de produire le niveau de preuve le plus crédible et utile possible compte tenu du contexte.
Ce qui doit être proportionné, ce n’est pas l’existence de l’évaluation, mais le niveau de complexité du dispositif mobilisé.
Les indicateurs proxy : utiles, mais pas synonymes de preuve d'impact
La rigueur méthodologique consiste donc aussi à savoir dire ce que les données permettent d’affirmer et ce qu’elles ne permettent pas d’affirmer.
Une évaluation proportionnée se prépare dès la planification
L’évaluation ne devrait pas être pensée uniquement comme une activité réalisée quelques mois avant la clôture du projet. Une démarche proportionnée peut être préparée dès la conception de l’intervention. Cinq questions permettent de structurer cette réflexion.
1. Quel changement est attendu ?
La théorie du changement précise les mécanismes supposés conduire aux résultats et identifie les principales hypothèses sur lesquelles repose l’intervention.
2. Comment ce changement sera-t-il observé ?
Il s’agit d’identifier les indicateurs et autres éléments de preuve réellement utiles, plutôt que d’accumuler des indicateurs difficiles à exploiter.
3. Quelle situation permettra d’apprécier l’évolution ?
Lorsque cela est possible, une situation de référence ou des données antérieures contribuent à interpréter les changements observés.
4. Quelles autres influences peuvent intervenir ?
Un changement observé chez les bénéficiaires peut également être influencé par des facteurs économiques, institutionnels, sociaux ou environnementaux extérieurs à l’intervention.
5. Quelle décision l’évaluation doit-elle éclairer ?
Ajuster une intervention, décider de sa poursuite, documenter les résultats, orienter un passage à l’échelle ou tirer des enseignements. Le niveau de preuve nécessaire dépend en partie de l’importance de la décision.
Le véritable enjeu : passer de la conformité à la décision
La question de l’évaluation d’impact est finalement moins technique qu’elle n’en a l’air.
Lorsque l’évaluation est considérée uniquement comme une exigence du bailleur, elle peut devenir une activité administrative supplémentaire : produire un rapport, renseigner des indicateurs et documenter les résultats obtenus. Lorsqu’elle est intégrée au pilotage, sa fonction change. Elle permet de déterminer si une intervention doit être poursuivie, adaptée, ciblée différemment ou étendue. Elle permet également d’identifier les hypothèses qui ne se vérifient pas, de comprendre les écarts entre les territoires ou les groupes de bénéficiaires et de transformer les résultats en apprentissages.
C’est cette utilité qui doit guider le niveau d’ambition méthodologique.
Éviter la dette de connaissance dès la conception
Delta Monitoring permet de définir les indicateurs et les sources de données au moment où le projet est conçu, puis de les alimenter tout au long de la mise en œuvre. Les équipes disposent ainsi, au moment de la décision, des données qu’elles auraient autrement dû reconstituer a posteriori, quel que soit le budget d’évaluation.
Voir comment Delta Monitoring prépare les données d’évaluation →
L’évaluation d’impact est-elle vraiment réservée aux grands projets ? Non. Mais cela ne signifie pas que tous les projets doivent mettre en place le même dispositif.
La maturité d’un système de suivi-évaluation ne se mesure ni au nombre d’indicateurs collectés, ni au volume de rapports produits, ni à la sophistication des méthodes utilisées. Elle se mesure surtout à sa capacité à fournir, au moment où une décision doit être prise, des éléments suffisamment crédibles pour comprendre les changements observés et agir en conséquence.
La question n’est finalement pas : « Le projet est-il assez grand pour être évalué ? » Mais plutôt : « Quel niveau de preuve est nécessaire pour prendre la prochaine décision avec davantage de confiance ? » C’est à partir de cette question que peut se construire une démarche d’évaluation à la fois rigoureuse, proportionnée et utile au pilotage du projet.