Panorama des principales méthodes d’évaluation
1. L’évaluation qualitative : comprendre les mécanismes
Souvent mobilisée en innovation publique, l’évaluation qualitative vise à comprendre le « comment » et le « pourquoi » derrière les chiffres. Des méthodes comme :
- Entretiens semi-directifs ou libres avec bénéficiaires, agents, partenaires.
- Groupes de parole : réunir des usagers ou parties prenantes pour enrichir la compréhension collective.
- Observations de terrain : immersion dans le quotidien de l’expérimentation pour saisir les pratiques effectives.
Cette approche est précieuse pour révéler les freins culturels, les résistances, mais aussi les leviers inattendus. Selon un rapport de France Stratégie (2021), 62 % des expérimentations récentes privilégient au moins une phase qualitative pour « faire parler » le contexte et donner du sens aux indicateurs chiffrés (France Stratégie).
2. L’évaluation quantitative : des indicateurs pour objectiver
Le quantitatif permet d’objectiver les effets observés. Pour cela, on mobilise :
- Tableaux de bord d’indicateurs : nombre d’usagers touchés, taux de satisfaction, évolution des comportements, etc.
- Analyses statistiques : évolution d’indicateurs clés avant/après l’expérimentation.
- Questionnaires à grande échelle : pour mesurer la perception, l’acceptation, la répétabilité de la démarche.
Exemple régional : l’expérimentation du revenu de base en Gironde (2019) a combiné questionnaires réguliers et suivi statistique des parcours des allocataires pour quantifier les impacts sur la précarité et l’insertion (source : Département de la Gironde).
3. Les méthodes mixtes : croiser les regards
La majorité des évaluations d’expérimentations publiques croisent aujourd’hui données quantitatives et qualitatives. Cette approche « mixte » :
- Fait émerger des enseignements robustes, validés par les chiffres et compris par le récit.
- Permet l’ajustement en temps réel (« évaluation formative »), par exemple en adaptant certains volets de l’expérimentation sur la base de retours intermédiaires.
Le Conseil d’Analyse Économique note ainsi que « 60 à 70 % des évaluations rigoristes associent désormais indicateurs et analyses de terrain afin de dresser un diagnostic complet des expérimentations » (CAE).
4. L’expérimentation contrôlée : méthode scientifique et usages publics
Inspirée de la recherche médicale, la méthode d’évaluation « randomisée » ou le test A/B consiste à comparer des groupes : un groupe expérimental (bénéficiant de l’innovation) et un groupe témoin (non exposé). En France, ce type d’approche a été testée sur l’expérimentation « Territoires Zéro Chômeur de Longue Durée » : l’évaluation contrôlée a permis d’isoler les effets propres au dispositif, indépendamment des biais extérieurs (cf. Rapport IRES, 2021).
- Avantage : Rigueur scientifique et validité des résultats.
- Limite : Difficulté éthique ou organisationnelle à ne pas faire bénéficier certains publics de la démarche.