Évaluation coopérative
Le cas d’interaction à l’UPMC-La Boucle
Dans le cadre de l’ex-programme Hirsch piloté par le Fonds d’Expérimentation pour la Jeunesse (FEG), tous les porteurs de projets dans le cadre d’actions innovantes et/ou expérimentales en vue de réduire le décrochage à l’Université furent accompagnés par des équipes d’évaluation devant suivre expérimentation en vue d’une hypothétique généralisation. C’est dans ce cadre que le projet Interaction conçu par l’équipe de l’UPMC-La Boucle fut« évalué » par l’équipe du LISEC, (Laboratoire Interuniversitaire des Sciences de l’Education et de la Communication).
Principes
L’évaluation coopérative que nous défendons, se distingue de l’évaluation-contrôle telle que définie par Ardoino J. et Berger G. (1989) qui est avant tout normative et réductrice et qu’ils définissent comme « à la fois un système, un dispositif et une méthodologie, constitué par un ensemble de procédures, ayant pour objet (et visée) d’établir la conformité (ou la non-conformité) »[1]. Evaluation qui trop souvent s’inscrit « dans un ensemble d’activités plutôt bureaucratisées et fondées sur le principe de la sanction »[2]. Recherche de conformité de plus aberrante et sans objet dans un dispositif expérimental et innovant qui par définition ne se réfère pas ou seulement à la marge à des modèles préexistants. L’évaluation coopérative au contraire se définit comme un processus collectif en co-responsabilité et de réciprocité en vue d’améliorer en continu une action pédagogique dans le cadre d’un échange permanent d’informations entre acteurs et évaluateurs sans prétention à définir une « norme, un gabarit »[3]. Processus d’évaluation coopératif, même si Ardoino J. et Berger n’emploient pas le terme, qui implique un « partenariat (…) qui n’exclut nullement la reconnaissance des différences, ni les conflits qui peuvent en résulter (et qui) est fondamental à ce type de démarche »[4].
Nous n’avons pas souhaité reprendre l’expression « évaluation embarquée » proposé par le CEREQ[5] qui souligne à juste titre la difficulté de l’exercice et la posture singulière des évaluateurs, à savoir dans et hors le dispositif et dans une relation régulière avec les équipes d’expérimentateurs. Posture qui implique de garder ses distances afin de ne pas tomber en connivence. Mais qui nécessite aussi de veiller à ce qu’une distance trop grande n’obère la confiance nécessaire pour conduire une évaluation approfondie et riche d’apprentissages. Tout en gardant aussi à l’esprit ce que Guy Berger écrivait déjà en 1977, à savoir que « la détermination de la position de l’évaluateur est essentielle à la détermination du sens de l’évaluation »[6]. Il convient donc dans un environnement coopératif de se défaire de la morgue de l’évaluateur-contrôleur et de renoncer au pouvoir qu’octroie en général ce rôle.
Comme le souligne la note du CEREQ, l’évaluation dans le cadre de cet embarquement mobilise encore plus de professionnalisme et oblige à « articuler confiance, intégrité, coopération et impartialité ». Si au LISEC, nous n’avons pas retenu le terme « embarqué » c’est pour souligner l’importance de la co-opération qui implique une reconnaissance et une estime mutuelle des acteurs entre eux, voire une égalité de statut et de droit même si les rôles restent très strictement définis. Les uns agissant sur le terrain de la pédagogie et de la gestion du projet expérimental, les autres sur celui de l’évaluation, de la mesure et de la recherche du sens quelquefois caché.
C’est aussi pour des raisons éthiques que nous n’avons pas retenu l’expression « évaluation embarquée » car celle-ci renvoie implicitement aux « journalistes embarqués » aux côtés des troupes des Etats-Unis lors de la seconde guerre d’Irak. Une telle posture aurait fait de notre évaluation l’expression de la « voix de son maître » incompatible avec une posture d’évaluateur distancé et non de contrôleurs patentés.
Ainsi pour nous, lorsque nous parlons d’évaluation coopérative, il s’agit bien d’engager une démarche qui mobilise largement l’éthique des acteurs, éthique qui garantit la qualité de la collecte des informations et de leurs interprétations dans le seul souci d’améliorer le dispositif à la fois pour les jeunes qui y sont impliqués à un moment « t » mais aussi dans le cadre d’une possible « modélisation » ultérieure ou plutôt d’une dissémination non-normative tout en garantissant le bon usage des finances publiques mobilisées pour conduire tant l’expérimentation que son évaluation. Ethique de l’évaluation qui implique aussi « d’évaluer l’évaluation, sa fonction et ses rituels » et si nécessaire « d’entamer, sans fard, une critique idéologique de sa finalité »[7]. Ethique de l’évaluation et des évaluateurs qui va, à notre sens, au-delà des recommandations de la Société française d’évaluation de 2003 qui préconise une conduite impartiale et une autonomie par rapport au processus de gestion et de décision. Société qui formule quelques principes d’action comme : la pluralité, la distanciation, la compétence, le respect des personnes, la transparence, l’opportunité et la responsabilité. Principes nécessaires mais sans doute insuffisants, nous y ajouterions volonté de co-apprentissage, de constats partagés et d’usages sociaux des résultats tant pour les bénéficiaires que pour la puissance publique.
Pratique
Si l’évaluation coopérative conduite par le LISEC se proposait bien à produire un jugement de valeur partagé sur l’expérimentation, elle ne visait pas seulement à produire un jugement de valeur postérieur à l’action mais à co-produire avec les acteurs de l’action du sens, voire à donner plus de sens à l’action elle-même durant l’action et du même à coup à co-produire du sens avec les dits acteurs. Sens qui favorise le pilotage et d’éventuelles infléchissement du dispositif en vue de l’augmentation de sa qualité voire de son efficacité durant son déroulement même.
Cette évaluation opérée au fil de l’eau permet à la fois de tenir compte du point de vue de l’intérieur du dispositif par ceux qui y sont engagés (participants et équipe pédagogique) et extérieur du fait de la présence des évaluateurs associés. Ce double point de vue, non seulement facilite, grâce à la confrontation voire à des controverses et des vérifications mais aussi permet d’enrichir les constats faits.
Elle vise à une meilleure compréhension de ce qui se joue tout en étant un processus d’amélioration de l’action dans le présent de l’action.
Elle permet d’associer à l’équipe d’évaluateurs et l’ensemble des acteurs engagés dans le processus de production du sens, qu’ils soient « politiques », formateurs, tuteurs, apprenants, responsables pédagogiques du projet. La voix de chacun ayant à notre sens même valeur et même intérêt.
Elle facilite et favorise, par l’échange et l’analyse des observations faites en continu par les évaluateurs, des évolutions permanentes mais aussi une grande réactivité aux aléas, une meilleure plasticité du dispositif. Et de fait, l’évaluation coopérative a permis aux acteurs du système Interaction de modifier certains éléments en cours d’expérimentation (enquête professionnelle, place du stage, stratégie pédagogique de certaines modules… et de mesurer la grande pertinence d’autres (pédagogie de l’émancipation, rôle des réseaux, tutorat, dynamique de groupe….)
Le dispositif d’évaluation
Le dispositif imaginé par l’équipe du LISEC au début de l’expérimentation a lui-même, par la confrontation avec les acteurs et le réel des situations, connu des évolutions durant le processus Interaction. Il a été à sa manière impacté par la démarche d’évaluation coopérative.
Dans les faits, pour les cinq groupes de stagiaires qui ont été accueillis, chaque stagiaire « décrocheur » ou plus exactement « décroché » dans les premiers jours du dispositif, a été reçu en entretien individuel. En fin de parcours Interaction, les stagiaires volontaires furent interrogés lors d’un entretien collectif. Six à huit mois après leur sortie du dispositif, chaque stagiaires est invité pour entretien individuel soit en présentiel, soit par téléphone.
Au début du projet, les « politiques » (Présidence UPMC, direction SCFC) furent rencontrés, puis en fin de dispositif, et durant la session 5, un certain nombre de tuteurs ainsi que de membres de l’équipe pédagogique furent interviewés. D’autres matériaux furent recueillis par les évaluateurs lors des séances de clôtures organisées pour chaque groupe de stagiaires (remise des attestations). Tous ces matériaux, ainsi que des productions de stagiaires sont analysés afin de fournir une évaluation objectivée et afin de formuler d’éventuelles préconisations.
Au-delà du dispositif formel d’évaluation, des réunions régulières de régulation-évaluation coopérative avec les porteurs de projet se tinrent et permirent l’évaluation « au fil de l’eau » déjà évoquée et des réunions internes à l’équipe d’évaluateurs permirent à cette dernière de faire évoluer son propre dispositif.
L’organisation en commun avec l’équipe de l’UPMC et celle du LISEC d’un colloque de clôture est à notre sens l’aboutissement d’une coopération positive et assumée.
Conclusion
Aux dires mêmes de deux responsables du projet Interaction que nous avons interviewés (TB et CM) si dans un premier temps la démarche d’évaluation a été perçue, même si elle ne fut jamais pensée en ces termes, plutôt comme un contrôle, elle fut par la suite, grâce à la connaissance et la confiance réciproques instituées, vécue positivement. Elle permit en effet, grâce aux échanges formels en réunions ou informels, aux responsables du projet de « décoller le nez du guidon » (sic) de percevoir des axes d’amélioration et d’en mettre en œuvre certaines. Elle a été aussi l’occasion tant pour les membres de l’équipe pédagogique que pour celle d’évaluation un moment important de retour réflexif sur les pratiques.
De plus, du point de vue de la recherche, le travail des évaluateurs a donné lieu à la production de deux textes présentés lors d’un colloque international sous forme de symposiumorganisé par l’université de Rennes en 2012 sur le thème des pédagogies émancipatrices à l’université intitulé formes d’éducation et processus d’émancipation. Le texte de Nathalie Lavielle-Gutnick s’intitulait : Université et dispositif expérimental : quels enjeux identitaires et quels effets potentiellement émancipatoires, celui de Hugues Lenoir : Pédagogie émancipatrice et université.
Colloque Innover pour les jeunes décrochés : une expérimentation à l’Université, UPMC, 16 octobre 2012.
[1] Ardoino J., Berger G., 1989, D’une évaluation en miettes à une évaluation en actes, Paris, ANDSHA-Matrice, p.12, en gras dans le texte.
[2] Yuren T. (2000), Quelle éthique en formation ?Paris, L’Harmattan, p. 48.
[3] Ardoino J., Berger G., op. cit., p. 12
[4] Ibid., p. 16.
[5] Dubois J.-M., Podevin G., Entre indépendance et connivence, la délicate posture de « l’évaluateur embarqué », Bref, CEREQ, n°294-1, novembre 2011.
[6] Berger G., Mais qu’est-ce qui nous prend à évaluer ?op. cit. p. 14.
[7] Lenoir H., 2010, Education, Autogestion, Ethique, St-Georges d’Oléron, Les Editions libertaires, pp. 188-189.