L’évaluation des Programmes de Réussite Éducative : repères méthodologiques

L’évaluation est une démarche qui consiste à mesurer les effets d’une politique publique.

Elle peut être définie de la manière suivante : 

Elle a vocation à prendre un rôle croissant dans la déclinaison des politiques publiques, dans un contexte de plus en plus contraint.

Afin de clarifier cette notion, il est utile de la définir en creux, c’est-à-dire rappeler que l’évaluation n’est pas : 

• Un moyen de contrôle ; 
• Un audit, qui sert à identifier des problèmes ; 
• Un bilan, qui permet de dresser des constats.

À l’inverse, l’évaluation est un processus de mesure et d’appréciation à partir de critères précis. 

L'évaluation répond à plusieurs enjeux internes et stratégiques pour les PRE : 

• Répondre à une obligation règlementaire : rendre compte des financements publics, garantir la pérennité du dispositif, acculturer les nouveaux élus en s’appuyant sur des données tangibles. 
• Mesurer l’impact du programme d’actions, par rapport aux objectifs fixés.
• Mieux piloter les enjeux éducatifs : souligner les réussites, les chantiers et aider ainsi les décideurs à poser les orientations. 
• Renforcer le collectif de projet et animer le réseau partenarial du dispositif : créer une culture partagée et donner un sens à l’engagement du quotidien. 
• Rendre des comptes aux publics accompagnés, dans une démarche de transparence.

Les acteurs de terrain ont un rôle à jouer et une expertise à déployer au sein de la démarche évaluative : l’exercice d’évaluation ne doit pas être confisqué et confié à des experts.

L’évaluation peut se situer à n’importe quel moment : 
 

• En amont du lancement du projet (évaluation ex ante)
• Tout au long du dispositif (ex itinere) : cela se fait beaucoup concernant le dispositif PRE, tout au long de sa mise en œuvre (sur 3 ans, sur 5 ans, pas forcément tous les ans).
• Finale : à la fin du projet, lorsque le dispositif s’arrête (ex post)
• Bien après le projet : on attend un certain temps entre la fin du dispositif et le début de l’évaluation (ex post)

Deux approches sont complémentaires : l’approche quantitative (données statistiques, numériques) et qualitative (comprendre, interpréter, analyser et expliquer les données chiffrées).

L’évaluation participative est également à prendre en compte. En effet,  les publics ont un rôle à jouer dans l’évaluation. Elle peut notamment se décliner par un suivi de cohorte.

L’évaluation du PRE est enfin et surtout une démarche collective, qui nécessite d’impliquer l’ensemble des partenaires. 
Dès le départ, il est nécessaire de “démystifier” le langage autour de l’évaluation afin de lever les craintes qui peuvent l’entourer, mais aussi de s’accorder collectivement sur ce que l’on veut faire, sur les termes et les définitions, puis sur les questions évaluatives.

Étape 1 : La préparation et le cadrage de l’évaluation 
L’évaluation nécessite de faire des choix, car tout ne peut pas / ne doit pas être évalué dans chaque dispositif. Il s'agit de définir des objectifs locaux, prenant en considération les objectifs définis nationalement. 
Pour appréhender les priorités du territoire, il est nécessaire de s'interroger :

• Quelles attentes ? 
• Quels enjeux localement ? 
• Quelles cibles ? 

Ainsi, l’étape de préparation est cruciale, il s’agit de :

• constituer le collectif d’évaluation : un groupe projet pour associer des expertises et croiser les regards ;
• établir le référentiel d’évaluation (outil partagé socle d’une analyse commune) : il s’agit de définir les objectifs de l’évaluation, les besoins de connaissances, les questions prioritaires, les données que l’on possède, etc… On va choisir des critères (ce que l’on souhaite regarder, les résultats attendus) et, en fonction, des indicateurs, qui permettent de mesurer la capacité à atteindre les résultats attendus ;
• Formaliser une méthodologie  claire, définie et partagée, ainsi qu’un calendrier d’évaluation. 
   

Étape 2 : La collecte 

Récolter des données pertinentes, robustes dans le temps.

Étape 3 : L’analyse

L’interprétation des données et le croisement des regards sur les données.

Étape 4 : Le partage 

Le partage et la communication sont nécessaires auprès des décideurs, des professionnels, des publics…

Contexte : 
La Ville de Strasbourg compte 300 000 habitants, l’Eurométropole, 500 000 habitants. Il y a 15 QPV dans la Ville de Strasbourg. Le PRE de Strasbourg a été créé en 2006, il représente 643 000 euros / an (60% Etat / 30% Ville / 9% CAF). Ce sont environ 400 enfants suivis/an.

Évaluation du PRE : 
Le PRE de Strasbourg a défini un cahier des charges présentant : 

• le contexte de la Caisse des écoles (structure support) et du PRE
• les enjeux et objectifs de l’évaluation : 
  • le détail des besoins et des questions évaluatives y est recensé. Elles ont été préalablement validées par le Comité de Caisse des écoles. Cf. ci-dessous, un extrait du Cahier des Clauses Techniques Particulières réalisé par la Caisse des écoles, pour exemple. 
  • la méthodologie 
  • le calendrier 

Ce document a servi pour sélectionner un prestataire externe dans le cadre d’un marché public, pour un coût financier : 30 à 40 000 euros étalés sur 2 ans.

Cette évaluation a été suivie par le département sociologie de l’Université de Strasbourg (via une réponse suite à un marché public), un choix qui a présenté des avantages, mais aussi des inconvénients, en particulier un accompagnement moindre  dans le suivi et l’animation de la démarche évaluative. 

Bilan de l’évaluation :

C’est un travail long, qui a pris du temps à l’équipe, mais qui a permis :

• D’aménager des temps de réflexion partagés en équipe et avec les partenaires sur les enjeux du PRE : l’évaluation a été un outil très utile pour l'animation interne et le management de l'équipe.
• De renforcer la visibilité du PRE. 
• De mieux connaître les fragilités du dispositif (notamment le fonctionnement précaire via l’emploi de vacataires). 
• D’adapter les pratiques grâce à des entretiens auprès des familles, notamment certaines dont les enfants avaient été suivis par le PRE plusieurs années auparavant. Ainsi, l’évaluation a souligné l’importance de prendre en compte le contexte culturel des familles dans le suivi.  

L’ANARE encourage l’évaluation, qui est inscrite dans les textes fondateurs de l’association. L’expertise des coordinateurs et référents de parcours est, en effet,  nécessaire pour réaliser la démarche évaluative. Il s’agit également de récolter des appréciations et des regards des parties prenantes du PRE et ainsi d’enrichir sa pratique. Pour autant, l’association encourage à mener des évaluations qualitatives et non uniquement quantitatives qui pourraient mener à des résultats biaisés. Ainsi, l’ANARE accompagne certains territoires qui développent des outils évaluatifs. 

À propos des évaluations nationales du PRE : plusieurs évaluations nationales ont été commandées par les services nationaux de l’État pour évaluer l’impact des dispositifs. Ils ont donné lieu à des résultats variables. Ainsi, en 2016, une étude de l’Institut des Politiques Publiques a dressé des constats très négatifs sur les PRE (1). Cette étude s’appuie sur deux enquêtes menées à deux années d’écart auprès d’un échantillon d’enfants, familles et écoles concernés par le PRE et d’un échantillon témoin. L’IPP conclut à une absence d’effet des parcours, voire à des effets négatifs, avec toutefois des précautions (notamment un jugement des adultes et des enfants pouvant être influencé par le fait même de bénéficier d’un parcours PRE). L’ANARE a regretté une analyse quantitative particulièrement à charge, qui a eu des effets délétères sur les financements des PRE.

A la même période, une autre étude a été publiée par le bureau d'études Trajectoires (2). Cette étude qualitative fondée sur des entretiens a mis en évidence des effets globalement positifs de l’action du PRE, en particulier pour les enfants ayant des difficultés dans les apprentissages scolaires liées à un manque de travail, de méthode, ou d'aide aux devoirs, ainsi que pour les enfants rencontrant "une fragilité dans un domaine particulier [mettant] en péril leur capacité à apprendre" (estime de soi, problème de santé…). Pour les enfants qui cumulent plus de fragilités, les effets sont plus nuancés.

L’ANARE appelle donc à une forme de vigilance quant à la méthodologie retenue pour évaluer les PRE. 

1 - Evaluation des Programmes de Réussite Educative (PRE), Rapport IPP n°13, Mars 2016, disponible en ligne, URL : https://www.ipp.eu/publication/mars-2016-evaluation-programmes-reussite-educative-pre/ 

2 - Enquête qualitative du programme de réussite éducative, enquête réalisée par Trajectoires (Groupe Reflex), CGET, décembre 2015, disponible en ligne, URL : rapport-evaluation-pre-trajectoires-dec-2015

ORIV, Repères et outils pour accompagner la démarche évaluative des PRE
https://www.oriv.org/publication/des-reperes-et-des-outils-pour-accompagner-la-demarche-evaluative-des-programmes-de-reussite-educative-pre/

Avise, Guide méthodologique "Évaluer son impact social" 
https://www.avise.org/actualites/le-guide-methodologique-evaluer-son-impact-social-de-lavise

ANCT, Guide d’accompagnement à l’évaluation des Cités éducatives
https://anct.gouv.fr/ressources/publications/agir-guide-d-accompagnement-l-evaluation-des-cites-educatives 

Outil de données Hublot 

https://pqn-a.fr/fr/ressources/analyses/observer-les-qpv-de-nouvelle-aquitaine-avec-hublot-un-outil-dedie-a-la-connaissance-des-territoires