Évaluer, tu as déjà du entendre ce terme ou bien je me trompe ? Dans la branche qui est la nôtre, on en entend beaucoup parler, mais personnellement j’ai mis vraiment longtemps avant de m’en sortir et de comprendre que ce qui me paraissait une montagne n’était finalement pas si compliqué.
Comme c’est un terme hyper large et qu’on trouve dans plein de branches différentes, il n’y a pas une définition unique de l’évaluation. D’ailleurs, on peut évaluer plein de trucs différents : des projets (pédagogique ou non), des personnes (comme les stagiaires BAFA), des parcours (le bilan BAFD sert à ça par exemple)…
Pour cet article, je vais me concentrer sur l’évaluation de projet… je laisse les personnes et les parcours de côté pour l’instant. Dans ce cadre, je te propose ma définition personnelle de l’évaluation : une démarche qui permet de savoir si les objectifs qui ont été posés pour ce projet ont été atteints…ou pas. Ah oui, le préalable à l’évaluation, c’est la définition d’objectifs. Paumé·e aussi là-dessus ? Va jeter un œil à l’article que j’ai écrit sur le sujet.
Pour moi, les quatre questions clés à se poser pour une évaluation qui tienne la route sont les suivantes : Pourquoi ? Pour qui ? Par qui ? Comment ? On commence souvent avec la dernière, alors que c’est justement en répondant au trois premières qu’elle se construit toute seule (ou presque).
Au sommaire de cet article
- Le vocabulaire de l’évaluation
- La démarche d’évaluation
- Les critères et indicateurs d’évaluation
- Les modalités d’évaluation
- Évaluer, ça sert à quoi en fait ? Le « pourquoi ? »
- C’est qui qui évalue du coup ?
- Pour qui ? A qui vont être utiles les données récupérées ?
- Par qui ? Qui va récupérer les données ?
- Bon, au final, pour évaluer, on fait comment ?
- C’est bien joli tout ça, mais après, je fais quoi avec mon évaluation ?
Le vocabulaire de l’évaluation
Je te propose de commencer par une petite parenthèse autour du vocabulaire, histoire de ne perdre personne.
On peut imaginer l’évaluation comme une galaxie à elle toute seule : elle possède pleins de mots de vocabulaire différents. Imagine un mot, suivi par « d’évaluation » (comme par exemple : démarche d’évaluation, critère d’évaluation, etc.) et tu auras un mot issu de cette galaxie. Je te propose ici d’en définir quelques uns.
Attention, ce sont mes définitions et compréhensions personnelles… pas une vérité universelle. Tu trouveras peut-être – sûrement – des personnes qui ne seront pas ok avec moi : juste pour que tu sois au courant avant de lire la suite.
La démarche d’évaluation
Ça représente le processus dans son ensemble. Pour être plus prosaïque, tu auras une démarche d’évaluation si tu prends le temps de répondre aux fameuses quatre questions dont je parlais en introduction : Pourquoi ? Pour qui ? Par qui ? Comment ?
Si ça t’éclate et que tu veux que ton évaluation tienne vraiment la route, je ne peux que te conseiller de prendre le temps d’écrire ta démarche d’évaluation. Comme tu peux l’imaginer, elle est influencée par qui tu es. Deux personnes qui réfléchissent une démarche d’évaluation chacune de leur côté, même en partant des même objectifs, n’auront pas la même démarche à la fin. L’une n’est pas meilleure que l’autre, c’est simplement important de comprendre qu’avoir une démarche d’évaluation complètement objective, ça n’existe pas (même si on essaye de nous faire croire le contraire). Et qu’une évaluation exhaustive, qui permettrait de tout analyser, c’est impossible aussi.
Les critères et indicateurs d’évaluation
Faire la différenciation entre ces deux termes m’a donné pas mal de migraines. Bon je t’avoue que je refais l’exercice pour toi ici de les différencier, même si au fond je ne suis pas persuadée que ce soit absolument nécessaire de comprendre la différence entre les deux pour mener une évaluation pertinente.
Ce qui est important à retenir, c’est que la somme des critères et indicateurs permettent de savoir si j’ai atteint, complètement, partiellement ou pas du tout les objectifs fixés au départ.
Le critère
Prenons un objectif. L’idée ici est donc de savoir s’il est atteint à la fin du projet… ou en partie. Ou pas du tout. Pour cela, on peut s’appuyer sur les critères. Ce sont des phrases affirmatives, qui, si elles sont vérifiées lors de l’évaluation, permettent de dire « cet objectif est bien atteint ».
Voilà un exemple un peu plus concret, histoire d’essayer d’être un peu plus claire. Si mon objectif est « développer l’entraide entre les enfants », un des critère pourrait être « des enfants demandent de l’aide à leur camarades ». Un autre serait : « des enfants proposent leur aide spontanément à d’autres enfants ». Et un troisième « les enfants s’entraident sans intervention des adultes ». Si j’arrive à démontrer qu’une de ces affirmation est vraie à la fin de mon projet, alors je pourrais dire que j’ai atteint partiellement mon objectif. Si elle sont toutes vraies, mon objectif sera totalement atteint.
Une petite question pour t’aider à identifier des critères : « Qu’est-ce qui me fait dire que l’objectif est atteint ? ». Je cherche à savoir s’il y a un changement entre le début et la fin de mon projet, en fonction des résultats auxquels j’espérais arriver. Comme on ne peut pas tout compter, observer et recueillir, les critères servent à faire des choix, pour cibler ce qui est le plus important dans ce qu’on a projeté.
On mélange souvent critères et indicateurs, car les critères sont rarement formulés. Ils sont implicites, et dans une suite tellement logique avec l’objectif qu’on les zappe, en quelque sorte.
L’indicateur
Quand j’évalue, je récupère en fait des données, que je vais ensuite traiter. Les indicateurs représentent ce que je cherche à récupérer comme données. Ils sont de deux types : quantitatifs (tout ce qui peut se compter) et qualitatifs (tout le reste).
Ils permettent de justifier les critères choisis, car ils s’appuient sur des données tangibles : soit des chiffres, soit des constats. Il permettent de dire « ce critère est vrai », ce qui permet ensuite de constater « cet objectif est rempli ». Chaque critère a donc son ou ses indicateurs.
Personnellement (je dis bien, personnellement), je les considère bien plus utiles et concrets pour mener une évaluation que les critères. Quand je réfléchis une démarche d’évaluation, d’un projet pédagogique par exemple, ce sont eux que je réfléchis, plus que les critères, qui me semblent découler assez simplement des objectifs. Mais bon, je n’ai jamais mené un projet intercommunal sur plusieurs années, alors je ne rends peut-être pas compte de l’intérêt de ces derniers.
Un exemple concret stp !
Commençons par une petite métaphore. Imaginons un saut à la perche, sauf qu’au lieu d’avoir une seule barre à franchir, il y en ait plusieurs, chacune plus haute que les autres. Les critères représentent les différentes barres à franchir. Les indicateurs, eux, sont le nombre de mètres auquel sont placées les différentes barres. L’objectif quant à lui est composé de tout cet ensemble (barre + nombre de mètres). Le perchiste, c’est le projet. Le saut, c’est l’évaluation. En fonction du nombre de mètres que le perchiste va réussir à sauter (= quelle barre il va franchir), cela indiquera à quel point l’objectif est atteint.
Prenons un exemple dans notre branche (attention, masturbation intellectuelle à l’œuvre) :
Objectif de départ : favoriser la bienveillance à tous les niveaux
Critère : il y a moins de remarques moqueuses entre les enfants (à la fin du projet qu’au début).
Indicateur : nombre de remarques moqueuses au cours de la journée.
Critère : l’équipe pédagogique valorise les actions des enfants.
Indicateur : il y a plusieurs types d’actions mises en place pour cela (paroles valorisantes, expositions des créations etc.)
Critère : l’écoute active est présente lors des réunions.
Indicateur : ressenti positif des personnes présentes.
Etc.
Bon, j’espère que je ne t’ai pas perdu en court de route !
Les modalités d’évaluation
Un petit dernier pour la route, promis celui-ci est super court ! En fait, les modalités d’évaluation, c’est simplement la réponse à la question « comment ? » : par quel outils, par quels moyens je vais mener mon évaluation (récupérer les indicateurs).
Voilà, je t’avais dit qu’il était court celui-ci. Bon, entrons dans quelque chose d’un peu plus concret si tu veux bien (et que tu es toujours en train de me lire).
Évaluer, ça sert à quoi en fait ? Le « pourquoi ? »
Ah, c’est justement LA première et grande question à se poser avant tout. Les stagiaires que j’ai formé le savent bien : j’adore la question « pourquoiiiiiiiiii ? » (avec une grande traîne à la fin du mot). Je leur pose cette question très souvent, dans plein de domaines différents ; et l’évaluation n’y coupe pas !
J’aime et j’utilise souvent cette question (y compris dans ma vie de tous les jours) parce qu’elle me permet de retrouver le sens de ce que je fais. Si je n’arrive pas à répondre à la question « pourquoi ? » , c’est a priori qu’il y a déjà un soucis quelque part.
Pour en revenir à l’évaluation et être un peu plus concrète, savoir pourquoi tu évalues va te permettre de poser la base de ta démarche d’évaluation. Parce que si je ne sais pas pourquoi j’évalue mon projet… eh bien c’est en quelque sorte comme si je partais en rando sans trajet, carte ni boussole.
Il n’y a pas de réponse toute faite à cette question, et en fonction du contexte dans lequel se déroule ton évaluation, il peut être utile de te la poser… mais aussi de demander à d’autres.
Les questions que je peux me poser
Quel que soit l’ampleur du projet, je trouve que se demander « à quoi va me servir CETTE évaluation ? », en essayant de rester honnête et franc·he avec soi-même, c’est un bon point de départ.
Je m’explique. L’évaluation, ça a pleins d’effets intéressants : ça permet de prendre du recul, de vérifier que les objectifs posés au départ étaient adaptés, de revoir et réajuster son projet, d’affiner son idée etc. Sauf que, soyons réalistes, on ne peut pas faire tout en même temps.
Du coup je trouve que se demander :
- Combien de temps ai-je à y consacrer (pendant et après le projet) ?
- Une fois que j’aurai des données, qu’est-ce que je vais en faire ?
- Et au fait, je fais cette évaluation pour qui ?
Ça permet d’éviter de recueillir des données qui ne vont pas me servir au final, et d’amorcer la réflexion sur le « comment ? ». Par exemple, quand je fais une colo avec des anims qui viennent de toute la France, je sais qu’organiser une réunion bilan est complètement utopique. Je vais donc récupérer des données pendant le temps du séjour et/ou utiliser des outils numériques (merci la technologie) pour avoir l’avis des anims sur leur vécu.
Les questions que je peux poser à d’autres
Si ton projet est plus qu’un projet uniquement personnel, il est sûrement enchâssé dans un ensemble plus grand que lui : une structure, qui a elle-même sûrement des comptes à rendre (au conseil d’administration, aux organismes qui subventionnent etc.).
Du coup, pour éviter de se retrouver en difficulté, je te conseille de demander au-dessus de toi dans la chaîne alimentaire hiérarchique, quelles données seront utiles voire nécessaires.
Pour donner un exemple concret, si tu travailles dans un ACEM habilité Jeunesse et Sport, ta structure reçoit très certainement des aides de la Caisse d’Allocations Familiales (CAF). Pour recevoir celles-ci, il faut que la structure rende une fois par an des bilans chiffrés, qui permettent de justifier l’argent qui est donné. Il faut donc mettre en place un ou plusieurs outils pour compter le nombre d’enfants qui font ci ou ça, qui sont inscrit·es à tel ou tel moment etc. Idem si le projet est subventionné.
Et, parfois, les personnes au-dessus de nous oublient de nous dire qu’elles vont avoir besoin de telle ou telle donnée… Si tu veux éviter ce genre de question : « comment ça, tu n’as pas vérifié (= évalué) que les enfants ont découvert de nouveaux artistes pendant la sortie au musée ? Mais j’ai besoin de le savoir pour remplir le bilan de la demande de subvention ! Ah ben bravo, on va devoir inventer des trucs maintenant, c’est vraiment pas malin. » Je te conseille d’anticiper et de demander s’il y a des indicateurs précis qui doivent être remplis.
C’est qui qui évalue du coup ?
C’est qui qui ? C’est les Snorky ! Bon ok, elle était facile.
Dans ce paragraphe, je voulais faire un focus sur les acteurs et actrices de l’évaluation en tant que telle. Parce que n’oublions pas qu’avant et après les chiffres, critères et autres indicateurs, il y a d’abord des êtres humains.
Pour qui ? à qui vont être utiles les données récupérées ?
Je trouve que cette question est au moins aussi intéressante que le « pourquoi ? ». Elle donne justement un peu d’humanité à tout ça. Et elle peut permettre d’imaginer de nouveaux indicateurs auxquels on n’aurait pas forcément pensé au départ.
Ben oui, si je cherche à évaluer pour moi, pour mon équipe, pour ma hiérarchie, pour le public ou pour les parents, les données ne seront sûrement pas les mêmes, vu que les centres d’intérêts ne sont différents. La manière de présenter les résultats sera différente aussi : plus ou moins de formalisme, d’écrit, de chiffres etc.
Par exemple, j’aurai peut-être envie de mettre en avant auprès des parents combien le projet a permis aux enfants de s’éclater. Du coup je vais chercher à recueillir cela, avec des indicateurs qualitatifs du type : les enfants sourient, rigolent entre eux et avec les anims etc. Et je prendrais peut-être des photos ou des vidéos pour illustrer mes observations.
Par qui ? Qui va récupérer les données ?
Autre focus intéressant, celui de savoir qui participe à l’évaluation. C’est vrai que de la manière dont je l’ai décrit, ça semble être un processus plutôt mené par une personne. En fait, je trouve que réfléchir la démarche d’évaluation seul·e ou en petit nombre (par exemple une équipe de direction) est pertinent, pour gagner en temps et en efficacité. Mais mettre en œuvre l’évaluation seul·e, ça me paraît très dommage. Surtout parce qu’on risque de rater des éléments et de s’épuiser.
Et qui de plus adapté que le public qui vit le projet (et pour lequel ce dernier a été conçu) pour donner son avis et voir si les critères sont vrais ? Quand je dirige un ACEM, j’aime bien que la démarche d’évaluation prévoit le recueil de l’avis du public. Il m’est déjà arrivé d’avoir une démarche pour recueillir les ressentis et vécu des enfants tout au long de la semaine, de manière ritualisée et quotidienne.
Comme les autres questions, celle-ci permet de construire progressivement la partie émergée de l’iceberg : le comment ?
Bon, au final, pour évaluer, on fait comment ?
Alors là, si tout se passe bien, la réponse aux différentes questions précédentes te permet de répondre simplement et facilement à cette question (je croise les doigts haha).
Ce que j’aime avec les modalités d’évaluation, le comment, c’est que cela laisse le champ totalement libre à toute sortes d’idées et de méthodes originales ! Et comme j’ai un petit côté créatif, ça me plaît forcément.
Les questions précédentes m’assurent que quelle que soit la méthode ou l’outil que je choisisse, je finisse avec des données que je pourrais utiliser.
Pour être plus concrète, je préfère donner un exemple (forcément très raccourci, pour les besoins de l’article). Imaginons un ALSH pendant les petites vacances.
Un des objectifs généraux qui se retrouve dans tous les projets pédagogiques des différentes vacances : « Favoriser la créativité plastique des enfants ».
Les moyens mis en place pour y arriver : coins permanents (peinture, argile, couture etc.) + ateliers dédiés pendant les temps d’activités.
Critère : les enfants utilisent les coins permanent pour créer des œuvres plastiques.
Indicateur : combien d’enfants utilisent les coins permanents.
Critère : la participation des enfants aux ateliers est effective.
Indicateur : combien d’enfants ont participé aux ateliers proposés.
Critère : les enfants sont fiers de leurs créations.
Indicateur : ressentis des enfants face à leur création.
Pourquoi ? à quoi va servir l’évaluation ?
- Est-ce que les ALSH vont permettre de générer assez de productions plastiques pour envisager une exposition en fin d’année ?
- Récupérer des données quantitatives (nombre d’enfant participant aux ateliers) pour justifier de la demande de subvention faites en mairie pour aider à acheter des fournitures d’arts plastiques.
- Savoir comment l’équipe a vécu cet objectif transversal à l’année, pour voir s’il est pertinent de le reconduire sous cette forme ou une autre.
- Savoir si l’objectif général est atteint > en se basant sur les critères et indicateurs.
Pour qui ?
à qui vont être utiles les données récupérées ?
- Aux anims et à moi
- A la mairie (subvention)
- A moi
- Aux anims et à moi
Par qui ?
Qui va récupérer
les données ?
- Les anims et moi
- Les anims et moi
- Moi
- Les enfants (indicateurs qualitatifs) + les anims (indicateurs quantitatifs)
Comment ?
Ce ne sont que des exemples, on pourrait imaginer plein d’autres comment… fais travailler ta créativité et tes idées !
- A la fin de chaque journée, il sera demandé aux enfants de laisser à l’ALSH les productions qu’iels seraient d’accord d’exposer. Un récapitulatif des productions sera fait en fin de chaque semaine pour vérifier qu’il y a assez de matière pour faire une expo.
- Chaque enfant aura un « carnet de bord » individualisé, qu’iel remplira avec un tampon (comme un passeport) chaque fois qu’iel utilisera un coin permanent et/ou participera à un atelier. A la fin de la semaine, avant que les enfants ne repartent avec leur carnet de bord, iels rempliront une petite fiche récap’ où iels auront comptés leurs tampons de la semaine.
OU
A chaque atelier / dans chaque coin permanent, une feuille de comptage est présente. Dès qu’un·e enfant participe / utilise le coin, iel appose son empreinte de doigts / trace un trait / dessine un symbole / colle une gommette. Cela donne des documents qui permettront ensuite de compter ensuite tranquillement le nombre d’enfants dans chaque coin permanent / atelier.
3. Lors de la réunion hebdomadaire, chaque anim remplira un carnet de bord personnel, où iel notera son ressenti de la semaine, ses appréciations personnelles, ses difficultés etc. A la fin de l’année, une réunion bilan sera organisé pour croiser et comparer l’évolution tout au long de l’année du ressenti de chacun·e.
4. Je vous laisse imaginer, là je n’ai plus de cerveau …
J’espère que cet exemple sera assez parlant. En tous cas, ce qui est sûr, c’est qu’imaginer une démarche d’évaluation construite et pertinente, ça prend un peu de temps…
C’est bien joli tout ça, mais après, je fais quoi avec mon évaluation ?
Si tu es encore ici à me lire, merci, parce que cet article est particulièrement long. Faut croire qu’il y a beaucoup à dire sur l’évaluation…
Bon je vais quand même la faire courte, histoire de finir un jour quand même. Un des éléments qu’on oublie souvent avec l’évaluation, c’est d’en faire quelque chose. Parce que c’est bien beau d’imaginer une démarche, de se creuser la tête et casser les dents sur des critères et des indicateurs, de recueillir des données par des moyens originaux… Mais si on ne fait rien avec, c’est un peu gâcher tout ça, non ?
Alors, bien sûr, si ton évaluation te sert essentiellement à te remettre en question ou faire évoluer les pratiques de l’ACEM, changer les choses est déjà un bon moyen de rendre ton évaluation utile. Mais à toi de voir s’il te reste encore un peu d’énergie pour la valoriser : en la rendant visible pour d’autres (parents, hiérarchie, anim si tu fais une évaluation de toi-même etc.).
Parce que ceux et celles qui ne sont pas partie prenante dans le projet n’ont pas forcément conscience de toute ce qui se joue, de toute la réflexion, de tous les moyens etc. De plus, valoriser ce à quoi on est arrivé, c’est gagner en confiance, en crédibilité… et, pourquoi pas, réussir à obtenir une subvention plus importante pour le prochain projet.
De ton côté, que fais-tu quand tu évalues un projet ? N’hésite pas à nous partager ton avis, tes idées ou tes remarques en commentaires. Il y a aussi notre chaîne Telegram si tu veux interagir avec nous et les autres.
Actuellement en formation Bpjeps j’ai louper mon uc de direction car je n’avais pas de modalités d’évaluation ni de critères et indicateurs.
Ton article est très intéressant , il a permis de me débloquer même si je trouve encore cet notion d’évaluation compliquée.