Réalisations

Évaluation internationale IAEP

L'Educational Testing Service (ETS) a réalisé deux évaluations internationales entre 1986 et 1992, désignées par l'expression « International Assessment of Educational Progress » (IAEP).

 La première s'est déroulée entre 1986 et 1988 auprès de cinq pays et quatre provinces canadiennes. Au total, douze populations scolaires ont subi l'examen prévu. Les élèves étaient âgés de 13 ans, fréquentaient des établissements privés ou publics dans des classes du primaire ou du secondaire. Pour chaque population, on a retenu un échantillon aléatoire d'environ 2 000 élèves provenant de 100 établissements d'enseignements. Au total, quelque 24 000 élèves ont été évalués. Voici la liste des pays ayant participé à cette première évaluation : Corée, Espagne, États-Unis, Irlande, Royaume-Uni et quatre provinces canadiennes (Colombie-Britannique, Québec, Ontario, Nouveau-Brunswick). Dans le cadre de cette évaluation, les élèves ont subi une épreuve de mathématiques de 45 minutes (63 items) et une épreuve de sciences de 45 minutes (60 items). En outre, les élèves ont aussi répondu à des questions sur les expériences à l'école et leurs attitudes à l'égard de celles-ci. Le personnel enseignant a de plus répondu à un questionnaire indiquant si les élèves avaient appris les notions en cause.

Une deuxième évaluation a été réalisée au cours de l'année scolaire 1990-1991. Vingt pays ont alors participé à une évaluation en mathématiques et en sciences chez les élèves de 13 ans; quatorze pays ont aussi fait une évaluation de leurs élèves de 9 ans. Certaines populations ont évalué le rendement en géographie chez leurs élèves de 13 ans. Enfin, quelques pays ont évalué les mathématiques et les sciences chez les 13 ans à l'aide d'une épreuve pratique. Les pays suivants ont participé à cette seconde évaluation IAEP :

 Pour chaque population évaluée, environ 3 300 élèves provenant de 110 écoles ont participé à l'opération. C'est ainsi qu'environ 175 000 élèves de 13 et de 9 ans ont été évalués au cours de l'année 1990-1991.

Micro Centre Pythagore Inc. a été associé à certains travaux techniques pour ces deux évaluations internationales. Voici les principales tâches techniques accomplies en partie par Micro Centre Pythagore.

• Il a été nécessaire de développer l'instrumentation adaptée à des évaluations touchant un ensemble varié de systèmes scolaires. Micro Centre Pythagore a eu la responsabilité de mettre sur pied des banques d'items regroupant les renseignements pertinents à la rédaction d'épreuves et de questionnaires respectant le devis retenu.

• L'instrumentation élaborée pour réaliser ces évaluations a été mise à l'essai dans le but de sélectionner les items et les questions devant être utilisés lors de l'administration du mécanisme. Micro Centre Pythagore a réalisé plusieurs travaux de traitement de l'information alors recueillie. Il y a alors eu des analyses statistiques touchant principalement les qualités docimologiques des items expérimentés.

• Il a été décidé que l'entrée des données recueillies serait réalisée par les participants à ce projet. ETS a confié à Micro Centre Pythagore la responsabilité de proposer une démarche garantissant la rigueur de la collecte des renseignements. Un logiciel permettant la saisie des données et le contrôle de la qualité a été développé.

• C'est Micro Centre Pythagore qui a eu la responsabilité de constituer les bases de données contenant l'ensemble de l'information recueillie par ces évaluations; plusieurs travaux ont été réalisés sous la responsabilité de Micro Centre Pythagore. Il y a eu mise en place d'un ensemble de procédures pour garantir la rigueur des fichiers préparés. Il a aussi fallu réaliser la fusion d'information provenant des questionnaires et des épreuves utilisés.

• Les compilations statistiques ont été assurées par Micro Centre Pythagore et de chercheurs universitaires. On rappelle que les traitements devaient tenir compte de l'attribution de la pondération des enregistrements (élèves et écoles) en conformité avec le devis d'échantillonnage utilisé. De plus, les marges d'erreur devaient être calculées par rapport à la technique dite du « Jackknife ». Plusieurs statistiques ont été produites; à titre d'exemples, nous pouvons énumérer celles-ci : distributions de fréquences; analyses d'items (classiques et par rapport à la Théorie des Réponses aux Items); résultats moyens; analyse du fonctionnement différencié des items; analyses factorielles. Il a aussi fallu produire des compilations faisant intervenir les variables contextuelles alors disponibles.

• Un ensemble de documents d'information a dû être produit pour assurer un déroulement standardisé et rigoureux de ces évaluations. Micro Centre Pythagore a rédigé des manuels d'administration touchant l'un ou l'autre aspect de l'opération. De plus, Micro Centre Pythagore a mis sur pied un mécanisme de diffusion périodique d'information sur le projet; c'est ainsi qu'un serveur de courrier électronique a été retenu pour communiquer des bulletins d'information rappelant les tâches à réaliser; Micro Centre Pythagore a rempli un rôle important dans la diffusion de l'information aux pays participant à cette évaluation.

• Plusieurs sessions de formation se sont déroulées dans le cadre de ces évaluations. Micro Centre Pythagore a participé à leur organisation et à leur animation. C'est ainsi que des rencontres ont porté sur l'entrée des données et le contrôle de la qualité des fichiers préparés par les responsables nationaux. Les logiciels de saisie mis à la disposition des participants ont alors été présentés.

• Micro Centre Pythagore a été associé aux rencontres internationales prévues tout au long du déroulement de ces évaluations. Il y a eu collecte d'information auprès des personnes provenant des pays participants. De plus, des renseignements sur les résultats obtenus furent diffusés et expliquer aux responsables nationaux.

• Micro Centre Pythagore a préparé plusieurs rapports rendant compte de l'information recueillie. Ces documents ont été imprimés et expédiés aux responsables nationaux. Des illustrations graphiques ont été prévues pour faciliter l'interprétation des résultats obtenus. La production des rapports statistiques a été confiée à Micro Centre Pythagore.

• Les données recueillies à l'occasion d'un projet d'envergure comme les évaluations IAEP peuvent servir à la réalisation d'études complémentaires. Il faut donc prévoir la préparation de banques de données complètes et bien documentées qui pourront être utilisées par des chercheurs. Micro Centre Pythagore a préparé de telles banques qui furent distribuées, dans un premier temps, aux pays participants à ces évaluations.

Les résultats obtenus à ces évaluations ont été publiés par ETS dans les rapports suivants :

A World of Differences; An International Assessment of Mathematics and Science. Educational Testing Service, January 1989; 95 pages.

Un monde de differences; Étude internationale sur l'état de l'apprentissage des sciences et de la mathématique. Educational Testing Service et Ministère de l'Éducation du Québec, Janvier 1989; 99 pages.

Learning Mathematics. Educational Testing Service, February 1992; 158 pages.

Learning Science. Educational Testing Service, February 1992; 155 pages.

Learning about the World. Educational Testing Service, June 1992; 107 pages.

Performance Assessment: An International Experiment. Educational Testing Service, July 1992; 59 pages.

Adresse courriel : info@mcpythagore.com