Contrôle de qualité

Le contrôle de la qualité

Il est important de mettre en place différents mécanismes permettant de vérifier la qualité des opérations en cours de réalisation ou bien déjà réalisées dans le cadre d’une activité d’évaluation. Ces mécanismes devraient être présents à chacune des étapes prévues dans le cadre de la réalisation des activités planifiées. Le logiciel EduStat comprend un certain nombre d’options qui permettent d’établir des contrôles de la qualité des données faisant partie des bases de données ainsi que l’examen de la rigueur et de la standardisation de l’administration d’une évaluation des apprentissages.

Ce document fait un rappel de certains mécanismes associés au contrôle de la qualité de l’évaluation à l’étape de planification ou bien déjà réalisée.

A. Planification de l’activité d’évaluation

Dès la phase de la planification du mécanisme d’évaluation, il faut choisir des techniques et des mécanismes qui faciliteront le respect de la qualité de l’opération sélectionnée. C’est ainsi que la disponibilité de tableaux de spécification permettra de mieux garantir la qualité des instruments que l’on compte utiliser pour recueillir l’information requise. Toujours par rapport à la qualité des instruments de collecte de données, il est souhaitable, souvent nécessaire, d’en faire une mise à l’essai pour en garantir la qualité; les analyses sur les données recueillies à l’occasion d’une mise à l’essai permettront d’apporter les correctifs nécessaires pour disposer d’items et de questions adaptés aux objectifs poursuivis.

Si le mécanisme d’évaluation doit être réalisé à partir d’un échantillon représentant une population donnée, il faudra s’assurer que le plan d’échantillonnage retenu convient à la situation. On sait qu’il existe plusieurs techniques; il faudra retenir celle qui est la plus adaptée à l’évaluation envisagée. Dans un premier temps, il faudra avoir une bonne connaissance de la population objet de l’étude. Il faudra examiner attentivement les bases de données sur la population touchée. Il est parfois nécessaire d’établir des liens entre différentes sources d’information afin de disposer des renseignements qui seront requis au moment du choix de l’échantillon retenu pour l’administration de l’évaluation.

B. Administration de l’évaluation

Ordinairement l’administration d’une activité d’évaluation nécessite la participation de plusieurs agents. Il est nécessaire d’assurer une uniformité dans les procédures retenues. Il faudra que les consignes d’administration soient claires; de plus, il est souhaitable de prévoir une activité de formation à l’intention de toutes les personnes qui seront associées à l’administration du mécanisme. La présence d’observateurs dans un échantillon de sites évalués (il s’agit ordinairement d’écoles) permet de recueillir des renseignements sur le respect des consignes arrêtées.

C. Dépouillement des informations

À la suite de l’administration de l’évaluation, il faut assurer le dépouillement des informations recueillies. Plusieurs activités doivent être accomplies au cours de cette importante étape d’un cycle d’évaluation des apprentissages. Il est parfois nécessaire de corriger certaines réponses fournies par les élèves évalués. Plusieurs techniques peuvent être utilisées pour garantir la qualité de cette opération; on peut citer celles-ci : double correction, correction de groupe, profil de correction. L’information recueillie devra être intégrée dans des fichiers de données qui feront partie de bases de données. Il faut s’assurer que les activités de saisie ne comportent pas d’erreurs qui influenceront la qualité des données disponibles pour exécuter les compilations exigées.

D. Analyses statistiques

Les analyses statistiques retenues pour traiter l’information disponible doivent être pertinentes à l’évaluation en cours. De plus, il faut s’assurer que les résultats obtenus soient exempts d’erreurs de calcul. Il peut être utile de recourir à des techniques complémentaires pour vérifier la justesse des calculs réalisés. Idéalement, il serait approprié de recourir à la participation de plusieurs personnes pour exécuter en parallèle les mêmes compilations; cette façon de procéder offre des garanties quant à l’exactitude des compilations réalisées.

E. Communication des résultats

Les rapports d’évaluation sont ordinairement rédigés par des spécialistes du domaine évalué. Il est possible que ces rédacteurs ne soient pas des spécialistes de l’interprétation des indices statistiques disponibles à la suite des compilations réalisées. Il est prudent de confier à des statisticiens du domaine de l’évaluation des apprentissages le soin de vérifier les conclusions rédigées dans les rapports en préparation. Il faut garantir la justesse des commentaires et des affirmations contenus dans un rapport d’évaluation. Il en va de la crédibilité de l’ensemble de l’opération d’évaluation.

F. Sommaire

Voici un sommaire des activités de contrôle de la qualité d’une évaluation par rapport aux principales étapes de réalisation d’une telle opération.

Planification de l’opération d’évaluation et préparation des instruments	préparation du plan de l’évaluation préparation du plan d’échantillonnage (si pertinent) expérimentation du mécanisme d’évaluation révision des procédures et des instruments traduction à rebours (si plusieurs langues) contrôle de la qualité des instruments de collecte de données
Administration de l’évaluation	contrôle de l’administration (par des visites sur place, par exemple) session de formation et rédaction de consignes d’administration
Correction et codification des informations	définition des règles de codification et de correction formation du personnel à la codification et à la correction double correction correction de groupe profils de correction
Préparation des bases de données	choix du type de saisie comparaison avec un fichier échantillonné fabrication de distributions de fréquences en relation avec les valeurs valides examen visuel des fichiers (comparaison entre les données consignées dans le formulaire de collecte et le fichier de données) validation des fichiers recodification, si requis
Réalisation des analyses statistiques	analyse classique des items analyse de biais calcul de résultats moyens production de tableaux de résultats faisant intervenir des variables contextuelles analyses statistiques complémentaires
Rédaction et fabrication des rapports	identification des publics cibles compréhension, par les rédacteurs, des résultats des analyses statistiques établissement de liens entre différentes données consultation de spécialistes du domaine pour aider à l’interprétation des résultats utilisation de techniques diverses pour présenter les résultats (tableaux, schémas, graphiques)

Adresse courriel : info@mcpythagore.com