Les clés d’une évaluation d’impact social réussie

L’évaluation d’impact social est-elle un chemin semé d’embûches? Pour beaucoup d’associations et d’entreprises, la démarche est clairement complexe. Avant de se lancer, il est alors essentiel de se poser les bonnes questions. 

Issu d’une enquête approfondie menée par l’Agence Phare auprès d’acteurs associatifs et entrepreneuriaux pour comprendre leur expérience de l’évaluation d’impact social, cet article propose trois pistes et solutions pour esquiver les pièges et réaliser une évaluation utile. 

« Faire la preuve » ne suffit pas : évaluez votre projet pour l’améliorer

L’étude que nous avons menée montre que nombre de responsables de structures d’utilité sociale envisagent l’évaluation d’impact social uniquement sous l’angle de l’administration de la preuve de l’efficacité de leur projet. Or, si « l’impact net » de l’action sur les bénéficiaires est un enjeu-clé, il serait dommage de ne pas s’interroger sur les « processus » : si l’évaluation de l’efficacité du projet vous renseigne sur les effets produits, elle n’explique pas « pourquoi » ces effets existent, ni « comment » ils ont été produits.

Nombre d’associations et d’entreprises, après avoir réalisé une évaluation pour mesurer une partie de leurs différents impacts, se rendent compte qu’il est nécessaire d’aller plus loin pour contextualiser les résultats et se questionner aussi sur ce qui marche moins bien.

Interrogez-vous alors sur vos impacts et la manière de les mesurer. Mais n’oubliez pas les méthodes qualitatives (entretiens, focus-groupes, observations) qui permettent de comprendre, finement, les atouts et points faibles de votre projet : les connaître vous permettra de mieux parler de votre action, mais aussi de réfléchir à ce qu’il est utile d’améliorer pour être plus performant à l’avenir. Evaluer les processus, c’est se donner un coup d’avance pour la suite!

Ne vous arrêtez pas en si bon chemin! L’enjeu de la collecte, de l’analyse et de l’interprétation des données

Beaucoup considèrent que le plus dur est de savoir « par où commencer » : le plus dur semble, alors, de réussir à cartographier ses impacts et produire un référentiel d’évaluation (questions évaluatives, indicateurs). S’il est essentiel de définir des indicateurs utiles, mais aussi simples à renseigner, l’erreur serait de croire que l’évaluation d’impact s’arrête là.

Notre étude montre que les associations et entreprises sous-estiment souvent des étapes indispensables pour mener à bien l’évaluation. Dotées d’une batterie d’indicateurs, elles se lancent dans la collecte de données (auprès des bénéficiaires et autres parties prenantes) sans tester leurs outils (guides d’entretien, questionnaire, tableaux de bord), qui peuvent se révéler inadaptés. Pire, elles n’envisagent pas de méthode pour traiter les données recueillies, les croiser et en tirer le maximum d’informations.

L’analyse et l’interprétation des données sont pourtant un enjeu-clé : faites le point sur vos compétences (et celles de vos équipes) sur le sujet ; et si besoin, faites vous accompagner pour négocier au mieux cette étape. Vous seriez frustré d’avoir réalisé des entretiens, recueilli nombre de questionnaires et de retours d’expérience, sans savoir comment les utiliser!

Utilisez l’évaluation d’impact pour booster votre changement d’échelle

L’analyse des logiques de mise en place de démarches d’évaluation et de leurs usages fait émerger des enseignements relatifs aux conditions sous lesquelles une évaluation d’impact social peut nourrir le changement d’échelle d’un projet ou d’une organisation :

  • lorsqu’une démarche évaluative a pour but de faire la preuve de l’efficacité, elle ne s’inscrit généralement que dans une logique de croissance du nombre de bénéficiaires ou de territoires touchés (dite de « scale up »). Qu’elles soient mobilisées pour amorcer la croissance (levée de fonds) ou pour la prouver (accountability), ces démarches ne suscitent ni une logique d’amélioration des outils (dite de « scale deep ») ni un objectif de transférabilité de l’innovation ;
  • en contraste, lorsque les démarches évaluatives visent l’amélioration du projet et de l’organisation interne, elles suscitent différents types de changement d’échelle. Au-delà des logiques de croissance, elles encouragent une amélioration des outils et actions (« scale deep ») nourrie par une analyse des points de difficulté et d’amélioration. Ce type d’évaluation d’impact peut aussi nourrir des logiques de diffusion à grande échelle de l’innovation par la construction d’outils transférables (« scale across ») dont les difficultés d’appropriation sont interrogées par les enseignements, en termes de pilotage interne, qui émergent d’évaluations d’amélioration.

L’évaluation d’impact social peut ainsi être mobilisée en soutien d’un changement d’échelle, par exemple dans les cas de recherche d’augmentation du nombre de bénéficiaires. Mais pensez aussi à l’intérêt de réaliser une évaluation qualitative (ou mieux : articulant le quanti et le quali) pour améliorer votre projet et structurer votre réflexion. Elle vous aidera à conceptualiser le changement d’échelle de votre projet dans d’autres termes (améliorer le service rendu aux bénéficiaires, par exemple). 

Retrouvez l’ensemble des résultats de l’enquête : l‘étude complète.  

*

L’Agence Phare propose des accompagnements à l’évaluation d’impact social adaptés à chaque porteur de projet : 

  1. Des ateliers collectifs de sensibilisation d’un format de 2 heures, pour se mettre en mouvement sur l’évaluation d’impact.  Ils en ont bénéficié en 2017 : les lauréats du programme P’INS de l’AVISE, les participants au programme SafirLab de l’Institut Français. 
  2. Une démarche d’accompagnement à l’autonomisation dans l’évaluation d’impact social (identification des impacts, co-construction d’outils d’indicateurs et d’outils de collecte de données), en 6 ateliers d’une demi-journée chacun. ⇒ Ils en ont bénéficié en 2017 : le mouvement Emmaüs, le centre socioculturel AymonLire de Bogny-sur-Meuse. 
  3. Des évaluations d’impact externes, mêlant méthodes qualitatives et quantitatives. ⇒ Ils en ont bénéficié en 2017 : Enactus France, le Réseau Cocagne, l’association Vendredi (ex-Stagiaires Sans Frontières), les Ateliers de Paris. 

Pour plus d’informations, contactez François Cathelineau, Directeur des études : francois@agencephare.com