La France et les évaluations internationales des acquis des élèves

Le Haut Conseil de l’évaluation de l’école a jugé nécessaire d’évaluer la façon dont le système éducatif français et, plus largement la société française, tirent parti des comparaisons internationales. Il le fera en deux temps, tout d’abord en s’intéressant aux enquêtes comparatives des acquis des élèves (et des adultes) - c’est l’objet de cet avis - puis en envisageant les indicateurs internationaux de comparaison des systèmes éducatifs. L’intention n’est pas d’évaluer le système éducatif français à l’aune des comparaisons internationales , mais d’apprécier la pertinence de ces comparaisons, d’examiner la part que prend la France dans l’élaboration de celles-ci et de juger de l’intérêt qu’on leur accorde dans notre pays.

Pour étayer les discussions qui lui ont permis d’élaborer ce premier avis le Haut Conseil a demandé à Norberto BOTTANI, directeur du Service de Recherche en Éducation, Département de l’Instruction Publique du Canton de Genève et à Pierre VRIGNAUD, maître de conférences en psychologie à l’Université de PARIS X-Nanterre de lui présenter un rapport. Ce rapport - qui comme tous les rapports commandés par le Haut Conseil n’engage pas celui-ci, mais contient les analyses et les propositions des rapporteurs - est public et peut être consulté sur le site du Haut Conseil : http://cisad.adc.education.fr/hcee à la rubrique "publications".

1. Les enquêtes comparatives internationales : un moyen essentiel d’observation et de conduite des systèmes éducatifs.

Les enquêtes internationales d’évaluation des acquis des élèves ont aujourd’hui une place incontestable, (mais qui n’est pas pour autant incontestée) dans l’ensemble des moyens d’observation et de pilotage des systèmes éducatifs. Elles sont considérées, à juste titre, comme un des moyens privilégiés d’appréciation de leurs résultats.

Depuis le début des années soixante, où elles ont été initiées par des spécialistes de l’éducation, qui ont créé l’IEA pour en assurer la mise en œuvre, ces enquêtes ont connu un développement important marqué par trois lignes de force :
 la volonté d’apprécier des compétences ou des comportements préparant, de façon générale, à la vie professionnelle et sociale dans le monde d’aujourd’hui, remplace de plus en plus le souci de vérifier le degré relatif d’atteinte des objectifs affichés par les programmes scolaires des pays qui y participent. Deux raisons sont invoquées en ce sens : d’un point de vue technique, les programmes sont différents d’un pays à l’autre, ce qui rend les comparaisons difficiles ; d’un point de vue plus politique, voire idéologique, l’évaluation de compétences considérées comme de portée universelle apparaît plus pertinente que celle des savoirs scolaires, pour comparer les prestations des systèmes d’enseignement, tout au moins à la fin de la scolarité obligatoire.
 le souhait de pouvoir apprécier l’évolution des compétences au fil du temps et de relier l’évolution de ces compétences à des caractéristiques des systèmes scolaires et sociaux a conduit, d’une part, à organiser des programmes d’enquêtes qui puissent fournir des résultats comparables dans le temps et, d’autre part, à associer aux exercices proposés aux élèves des questionnements de plus en plus fouillés sur les moyens et les conditions d’enseignement, les contextes sociaux, etc. ;
 l’OCDE, institution dont la vocation est, à l’origine, économique plutôt qu’éducative, a progressivement pris en main la maîtrise d’ouvrage des programmes les plus importants de telles enquêtes et promeut largement la diffusion et l’utilisation des résultats de ces programmes et de ceux réalisés par l’IEA. De son côté, la Commission européenne, plutôt que de promouvoir des dispositifs propres pour nourrir les dispositifs d’indicateurs européens de l’éducation destinés à évaluer l’avancée du processus de Lisbonne, envisage volontiers d’utiliser les résultats des enquêtes de l’OCDE

Ces évolutions ont pour ambition de répondre aux questions que se posent les responsables politiques quant à leurs systèmes éducatifs et surtout quant à la contribution de ces systèmes au développement économique et social ; la participation de pays de plus en plus nombreux à des enquêtes réalisées sous l’égide de l’OCDE tend à ériger l’approche méthodologique développée en modèle universel de mesure de la finalité des systèmes éducatifs.

2. Les enquêtes comparatives internationales : des « machines » de plus en plus complexes qui ne sont pas exemptes de défauts et sont parfois opaques.

Ces évolutions ont conduit à faire de ces enquêtes - ou plutôt de ces programmes d’enquêtes - de « très grosses machines », tellement complexes que leurs fondements et leurs résultats peuvent en devenir opaques.
 les protocoles d’épreuves et les questionnements proposés résultent de compromis entre pays participants dont les conceptions des compétences en matière de lecture, de mathématiques, de sciences ou de comportement scolaire et social, censées correspondre aux exigences du monde d’aujourd’hui, peuvent être différentes, comme le sont leurs systèmes éducatifs et sociaux. Ces compromis - souvent d’inspiration plus anglo-saxonne que latine - résultent des rapports de force et des différences d’implication entre les pays et entre leurs experts, et peuvent être jugés plus ou moins satisfaisants par les uns ou les autres ;
 Malgré les progrès considérables accomplis au fur et à mesure du développement des enquêtes comparatives internationales, il n’est pas possible de garantir que leurs résultats ne sont pas exempts de biais de nature diverse, d’autant plus que la volonté d’étendre les mêmes programmes d’enquêtes, considérés comme ayant valeur universelle, à des pays de plus en plus nombreux élargit l‘éventail des niveaux de développement, des cultures, des langues, etc., dont il faut tenir compte ;
 Les modèles de mesure des compétences mis en œuvre aujourd’hui par les enquêtes internationales ont été considérablement raffinés : ils postulent, pour être valides, des conditions qui peuvent ne pas toujours être réunies, mais ils ont l’avantage de faciliter la présentation des résultats des épreuves sous forme d’échelles de compétences. Ce faisant, ils incitent à une lecture de ces résultats par les responsables politiques et le public qui privilégie le classement, pour ne pas dire le « palmarès » des pays et des systèmes éducatifs, relativement à tout autre travail d’interprétation des données, et parfois au détriment de celui-ci, alors que ces résultats sont par ailleurs largement mis à la disposition des chercheurs et que l’intérêt majeur de ces enquêtes est plus dans les questions qu’elles permettent de poser que dans les réponses qu’elles prétendent apporter ;
 La réalisation et la coordination d’enquêtes qui, comme PISA 2003 , concernent aujourd’hui plus de 250 000 élèves dans plus de quarante pays, constituent des enjeux économiques particulièrement importants. Elles mettent en jeu des moyens considérables et requièrent des capacités scientifiques, techniques et logistiques que seules quelques entreprises ou institutions - pour l’essentiel anglo-saxonnes et non-européennes - sont considérées comme capables de réunir. De plus, le souci de réaliser des enquêtes dont les résultats soient comparables au fil du temps incite à faire appel à chaque fois aux mêmes maîtres d’œuvre.

Sans entrer ici dans le détail, il faut être conscient que la mesure des compétences des élèves (et des adultes) n’a pas la simplicité, la robustesse et l’universalité du système métrique. Dans le domaine de la psychométrie - ou pour mieux dire de l’édumétrie, c’est à dire de la mesure en éducation - les mesures sont des constructions qui résultent de choix politiques et méthodologiques. Ces choix peuvent aussi avoir des dimensions commerciales.

3. La France a participé à nombre de ces enquêtes, mais a joué un faible rôle dans leur développement et n’a pas pris la mesure des enjeux et de l’intérêt qui s’y attachent.

 Si la France a participé à une bonne moitié de ces enquêtes, elle l’a fait de façon plutôt irrégulière au moins jusqu’à ces dernières années. Cette participation a concerné avant tout des enquêtes centrées sur les principaux domaines d’enseignement : la lecture (on parle aujourd’hui de littératie) les mathématiques et les sciences.
 Alors que les premières participations françaises ont été le fait d’organismes divers et sont restées plutôt confidentielles, c’est le Ministère de l’Éducation nationale, par le biais de sa Direction de l’Évaluation et de la Prospective (DEP) qui assure, depuis le début de la décennie quatre-vingt-dix, la participation de la France à ces enquêtes. Le souci de disposer d’éléments de comparaison externe permettant de rendre compte des résultats du système éducatif français a incontestablement été un moteur important de cette prise en charge par la direction chargée de l’évaluation au sein du Ministère. Les résultats de ces enquêtes ont ainsi été systématiquement repris et exploités dans l’état de l’ École.
 Cependant, l’effort le plus important du Ministère en matière d’évaluation des acquis des élèves a porté, au cours de la décennie 1990, sur le développement d’un dispositif national d’évaluation, et notamment d’un dispositif d’évaluation diagnostique dont la finalité première est de faciliter l’évolution des pratiques enseignantes. Les moyens disponibles n’ont pas permis de développer parallèlement un investissement important dans la conception et les méthodes des évaluations-bilans nationales et plus encore internationales , ceci d’autant plus que, sur le plan universitaire, s’il existe un savoir-faire français dans le domaine de la mesure en éducation, comme dans celui de l’éducation comparée, il ne fait pas l’objet d’une mise en valeur coordonnée.
 Surtout, les responsables politiques et éducatifs n’ont pas pris conscience des enjeux de ces enquêtes, sur le plan scientifique, comme sur celui du pilotage du système éducatif, et leur intérêt pour les méthodes et les résultats de ces travaux a toujours été faible, comme il l’est pour toutes les évaluations de notre système éducatif. Ainsi que le Haut Conseil l’a déjà observé , les travaux d’évaluation du système éducatif français, dont certains sont novateurs et particulièrement intéressants, ne s’inscrivent pas vraiment dans un dispositif d’évaluation d’ensemble du système et ne sont pas suffisamment utilisés pour son orientation. La remarque vaut aussi pour la participation aux enquêtes internationales. De plus, la réticence à l’évaluation externe, qu’elle soit internationale ou nationale reste particulièrement forte en France aussi bien chez les responsables politiques que chez les professionnels de l’éducation et il est toujours difficile - et souvent considéré comme illégitime - de soumettre notre École - censée être une des meilleures du monde - à une évaluation autre que celle issue de l’intuition immédiate ou de l’expérience personnelle.
 Pour ce qui nous intéresse ici, cela s’est traduit par un très faible engagement politique et scientifique français dans la conception des programmes d’enquêtes aussi bien à l’IEA qu’à l’OCDE. Les responsables de la politique éducative et pédagogique ont laissé les experts et les techniciens décider de la participation aux enquêtes et de l’investissement dans leur conception et leur réalisation. Ainsi, si la DEP a été l’initiatrice, lors de la présidence française de l’Union européenne en 1995, de la constitution d’un Réseau Européen des Responsables des Politiques d’Évaluation des Systèmes Éducatifs qui a coordonné la réalisation d’enquêtes comparatives entre pays européens et engagé des travaux méthodologiques originaux montrant qu’il existe des approches alternatives pour les comparaisons internationales , ce réseau n’a jamais bénéficié d’un appui effectif des responsables politiques du Ministère.
 Le Haut Conseil apprécie l’effort réalisé, au cours des dernières années, en matière d’analyse et de diffusion dans le système éducatif comme à l’extérieur de celui-ci, des résultats des dernières enquêtes et le suivi plus systématique des travaux de conception et de méthode auxquels elles donnent lieu, notamment depuis le choc qu’a constitué l’enquête IALS sur les compétences des adultes . S’il constate avec intérêt que ces efforts ont donné lieu à la mobilisation d’un petit réseau d’experts français et à la constitution, à l’initiative de la DEP, d’un consortium européen qui a répondu à l’appel d’offres lancé par l’OCDE pour réaliser la première phase du programme PISA, il ne peut s’empêcher de constater que ces actions n’atteignent pas une masse critique suffisante pour avoir un impact réel au niveau international, contrairement à ce que développent d’autres pays en la matière.

4. Pour prendre sa place dans la conception de ces enquêtes et tirer le meilleur parti de l’exploitation de leurs résultats, la France doit se donner les moyens de promouvoir une démarche européenne.

 Le Haut Conseil juge que les enquêtes internationales comparatives des acquis des élèves constituent un « regard » extérieur qui doit impérativement être associé au « regard » intérieur apporté par les évaluations et études nationales. Elles doivent donc avoir toute leur place dans le dispositif d’évaluation et de pilotage de notre système éducatif, sans que cette place soit exclusive car, à défaut d’évaluations nationales directement liées aux objectifs propres de notre système éducatif, le risque pourrait exister de voir ériger les enquêtes internationales en modèle éducatif universel, voire, en caricaturant quelque peu, de faire de bons résultats à ces enquêtes la finalité principale ou unique du système éducatif.
 Pour tirer pleinement parti de ces enquêtes et en exploiter les résultats de façon lucide et sereine, la France doit s’impliquer beaucoup plus activement dans leur conception et leur réalisation, ce qui suppose :

• que les responsables politiques français se proposent de peser effectivement dans les choix des organisations internationales en matière de conception, de calendrier, de moyens consacrés aux enquêtes, et ceci aussi bien à l’OCDE, qu’au sein de l’Union européenne. Ils doivent inciter celle-ci à développer ses propres enquêtes pour renseigner notamment les indicateurs destinés à rendre compte des objectifs de Lisbonne ;
• que les responsables politiques et scientifiques français donnent les moyens aussi bien au Ministère (à la DEP et aux responsables de la politique éducative) qu’aux milieux de la recherche, de participer activement à la conception des enquêtes, à la définition de leurs protocoles et à l’exploitation de leurs résultats), ce qui suppose un développement important des recherches et des travaux en éducation comparée et en édumétrie, étayé par les instances scientifiques dans les disciplines concernées.

° °

°

Rester frileux au regard des comparaisons internationales d’acquis des élèves serait entretenir l’idée que notre système éducatif est tellement spécifique qu’il pourrait se contenter d’une évaluation et d’une régulation internes. Une telle attitude serait d’autant plus grave que la passivité à l’égard des méthodes et des analyses des enquêtes internationales et le refus de considérer celles-ci, pourraient avoir pour résultat de se voir imposer des modèles éducatifs étrangers dans un monde où la concurrence se développe aussi dans le domaine éducatif.

La France doit se donner tous les moyens politiques et scientifiques d’organiser son système éducatif, en étant plus active à tous points de vue sur la scène internationale de l’éducation comparée. Elle ne peut sans doute pas - ou plus - le faire seule. Une priorité politique et scientifique devrait donc être de peser pour le développement d’un fort pôle européen de conception et de réalisation d’enquêtes comparatives internationales dans le domaine éducatif.

Consuter l’avis n° 16 en ligne.