Pourquoi et comment évaluer son impact social?

L’Agence Phare a mené une enquête approfondie auprès d’acteurs associatifs et entrepreneuriaux pour comprendre leur expérience de l’évaluation d’impact social.

Notre enquête a montré que le déclenchement d’une évaluation d’impact social – et le choix de méthodes le plus souvent quantitatives – dépendent moins de la volonté des responsables des structures d’utilité sociale que des leviers qui déterminent la mise en œuvre d’une démarche évaluative. Cet article traite d’une question majeure : quelles sont les raisons conduisant les structures d’utilité sociale à privilégier un type d’évaluation d’impact plutôt qu’un autre?

Les méthodes d’évaluation d’impact : un choix contraint?

Un enseignement important de l’étude est que les responsables des structures d’utilité sociale choisissent rarement de se lancer dans une démarche d’évaluation uniquement parce qu’ils disposeraient a priori des connaissances, compétences et moyens pour s’engager dans une telle démarche, ou seulement parce qu’ils seraient motivés (à mieux connaître leur impact social, à mieux piloter leur projet, à se distinguer d’autres projets).

Au contraire, ce sont le plus souvent les facteurs extérieurs (« leviers ») qui sont décisifs. Ainsi, la demande des partenaires financiers, adressée aux responsables de structures d’utilité sociale, de justifier de leurs actions et de leurs financements, est un élément-clé de leur décision.

v + phare

Le choix des méthodes employées est, de plus, dépendant des types d’acteurs qui sont sollicités lors de l’élaboration des évaluations d’impact social. Lorsque les évaluations d’impact sont initiées avec le soutien de partenaires extérieurs privés, comme des fondations, on observe une tendance à faire appel à des cabinets spécialisés qui développent des méthodes standardisées, voire « brevetées ».

On l’a vu précédemment, le choix des méthodes d’évaluation est souvent restreint au « quantitatif ». Une conséquence du recours quasi exclusif aux méthodes quantitatives est ainsi de tendre à se limiter à des indicateurs de résultats (nombre de bénéficiaires touchés, niveaux de satisfaction, etc.) sans interroger les processus à l’œuvre et les expériences des dispositifs par les bénéficiaires. 

Au contraire, le recours à des méthodes mixtes (quantitatives et qualitatives) ou à des méthodes qualitatives poussées, mobilisant les outils conceptuels, d’enquête et d’analyse des sciences sociales ne se retrouve que dans le cas des évaluations d’impact qui sont réalisées indépendamment de demande de subventions ou de fonds. 

Évaluer pour communiquer sur son projet

Lorsque les évaluations d’impact sont conçues dans l’objectif de prouver l’efficacité de l’action menée, elles mettent en valeur uniquement les points positifs d’un programme ou d’un dispositif. L’utilisation est alors plutôt externe (preuve d’efficacité des programmes mis en place et financés, communication, positionnement par rapport à l’existant, sollicitation de partenariats, etc.).

La première logique de valorisation des résultats d’une évaluation d’impact social est celle de la communication externe, largement majoritaire parmi les structures enquêtées. L’évaluation d’impact est alors avant tout mobilisée pour démontrer l’efficacité des activités à des partenaires, financeurs, voire à des clients (dans le cas d’entreprises) ou, plus rarement, au grand public. 

« On essaye d’inventer des nouveaux indicateurs pour valoriser tout notre impact social et économique sur le territoire. On veut être vus comme des entrepreneurs solidaires de territoires, on essaye de faire valoir les plus-values de nos actions pour qu’elles soient un peu plus visibles. (…) Fondamentalement, ça n’a pas changé la façon de travailler. (…) C’est surtout dans la façon d’illustrer l’activité, d’en rendre compte. » (Un enquêté)

Lorsque l’évaluation d’impact social est principalement destinée à un usage externe, on constate un rapport spécifique à la méthode employée. Il ne s’agit pas de trouver des indicateurs pertinents pour améliorer l’efficience de l’action, ni d’identifier les point forts ou les point de faiblesses du projet. Au contraire, l’objectif est de trouver des indicateurs efficaces, facile à exploiter pour prouver l’efficience de l’action menée. 

Principalement tournées vers la communication externe, les évaluations d’impact social guidées par la valorisation de programmes existants peuvent alors viser plusieurs publics, mais les organismes financeurs restent néanmoins les principales cibles.

Évaluer pour améliorer son projet

Alors que certains responsables de structures d’utilité sociale utilisent l’évaluation d’impact social en mettant principalement en exergue les effets positifs déployés par leurs actions, d’autres, nettement moins nombreux, mettent au contraire en œuvre des analyses présentant à la fois les effets positifs comme négatifs de leurs actions. 

« La mesure d’impact social pour moi c’est montrer tout l’intérêt, tout le bénéfice qu’apporte un projet. Pas uniquement le bénéfice direct. (…) C’est mesurer l’ensemble des conséquences. (…) Pour moi, l’impact social, il faut qu’on le mesure dans sa globalité, c’est-à-dire y compris le bien et le mal qu’un projet peut avoir.  » (Un enquêté)

Ce type de démarche, plus large que la simple collecte de données visant à répondre à un nombre restreint d’indicateurs, est plutôt mobilisée par les structures ayant précédemment réalisé des évaluations d’impact social dans le but de prouver leur efficacité. Lorsqu’elle est pensée dans l’optique d’améliorer les actions menées, l’évaluation d’impact social est plus souvent utilisée en interne pour un support de dialogue collectif ou pour consolider un réseau associatif. 

Notons que les démarches évaluatives à visée amélioratrice sont très minoritaires. Il s’agit surtout de structures qui ont fait la preuve de leur « efficacité » antérieurement, et elles s’appuient – au moins partiellement – sur des méthodes qualitatives. Finalement, les types d’usages des évaluations, s’ils sont fonctions des types de mesures d’impacts réalisés, s’inscrivent également dans les priorités stratégiques des projets :

  • lorsque la stratégie principale est de développer un projet en augmentant le nombre de bénéficiaires, on observe une tendance à employer des types d’évaluations d’impact social orientées vers l’efficacité, qui cherchent à prouver la plus-value d’une action ;
  • à l’inverse, lorsque les structures cherchent à se consolider ou à améliorer l’impact de leur action auprès de leurs bénéficiaires, les évaluations sont plus étendues et articulent plus souvent des méthodes qualitatives et quantitatives.

Retrouvez l’ensemble des résultats de l’enquête : l‘étude complète.  

*

L’Agence Phare propose des accompagnements à l’évaluation d’impact social adaptés à chaque porteur de projet : 

  1. Des ateliers collectifs de sensibilisation d’un format de 2 heures, pour se mettre en mouvement sur l’évaluation d’impact.  Ils en ont bénéficié en 2017 : les lauréats du programme P’INS de l’AVISE, les participants au programme SafirLab de l’Institut Français. 
  2. Une démarche d’accompagnement à l’autonomisation dans l’évaluation d’impact social (identification des impacts, co-construction d’outils d’indicateurs et d’outils de collecte de données), en 6 ateliers d’une demi-journée chacun. ⇒ Ils en ont bénéficié en 2017 : le mouvement Emmaüs, le centre socioculturel AymonLire de Bogny-sur-Meuse. 
  3. Des évaluations d’impact externes, mêlant méthodes qualitatives et quantitatives. ⇒ Ils en ont bénéficié en 2017 : Enactus France, le Réseau Cocagne, l’association Vendredi (ex-Stagiaires Sans Frontières), les Ateliers de Paris. 

Pour plus d’informations, contactez François Cathelineau, Directeur des études : francois@agencephare.com