Planification

La mise à l'essai

La mise à l’essai d’un mécanisme d’évaluation vise plusieurs objectifs. Le traitement de l’information recueillie à cette occasion fournit des renseignements précieux pour finaliser les documents nécessaires à la réalisation de l’évaluation ainsi que les procédures d’administration à privilégier. Pendant cette activité, il s’agit de réaliser les activités habituellement retenues pour l’administration d’une évaluation des apprentissages. L’échantillon retenu touchera un nombre limité d’élèves. Le logiciel EduStat pourra être retenu pour réaliser les travaux techniques prévus.

Ce document présente certains thèmes reliés à la démarche d’une mise à l’essai.

A.  Qualités métriques des instruments

Le premier objectif visé concerne la vérification de la qualité docimologique des instruments développés dans le cadre de l’opération souhaitée. Il faut s’assurer disposer d’épreuves respectant les qualités habituellement acceptées par rapport à la difficulté, à la discrimination et à l’absence de biais des items ainsi qu’à la cohérence des instruments. Voilà pourquoi on prévoit habituellement un nombre plus élevé d’items à expérimenter pour être en mesure d’identifier ceux qui seront utilisés dans les épreuves finales. Il est parfois nécessaire de prévoir plusieurs « formes » d’épreuves pour évaluer une même discipline ou un ensemble complémentaire de discipline; cette exigence peut être motiver soit par l’ampleur des domaines à évaluer, soit pour disposer d’un nombre suffisant de questions rattachées à chaque domaine évalué dans le cadre de la production des indices statistiques souhaités.

B.  Vérification des procédures administratives

Une mise à l’essai peut aussi être considérée comme une « répétition », un « exercice pratique » de l’opération qui se déroulera lors de son administration « officielle ». Il est souhaitable de réaliser cette activité par rapport aux conditions que l’on prévoit privilégier au moment de l’administration finale. Les commentaires recueillis à la suite de la mise à l’essai permettront de mieux adapter les différents guides administratifs qui seront rédigés.

C. Choix des techniques de compilations

Les données recueillies au moment d’une mise à l’essai sont utilisées pour vérifier la qualité des instruments en développement, non pour généraliser les résultats à l’ensemble de la population visée par l’activité d’évaluation. Cependant les compilations statistiques devront s’intéresser à certains sous-groupes d’élèves pour vérifier le fonctionnement des instruments par rapport à certaines de leurs caractéristiques. Il faudra alors s’assurer disposer d’un nombre suffisant d’individus par sous-groupe à considérer si on souhaite obtenir des statistiques fiables.

À la suite de la conduite d’une mise à l’essai, il est aussi possible de mettre en place et d’expérimenter les mécanismes qui seront utilisés pour le traitement des données et leurs compilations statistiques. Même si le nombre d’individus évalués peut être insuffisant pour être en mesure de réaliser des analyses fiables, les responsables disposeront de données réelles et crédibles pour répertorier et expérimenter les techniques les plus appropriées au contexte du programme d’évaluation.

D. Traitement des données d’une mise à l’essai

Au moment de la planification d’une mise à l’essai d’un futur mécanisme d’évaluation, il faut porter une attention particulière à un ensemble d’aspects inter reliés. L’échantillonnage des élèves soumis à l’instrumentation en préparation est important. Il faut toutefois se préoccuper, dès la phase de planification, des activités à mettre en place pour assurer le traitement des renseignements recueillis. L’échéancier souvent très serré exige que les responsables du mécanisme d’évaluation disposent rapidement des données nécessaires à la révision de l’instrumentation et à la finalisation des procédures d’administration. Nous nous permettons de souligner certains points touchant les suites à accorder à l’administration des instruments mis à l’essai auprès d’un échantillon représentatif.

E.  Collecte d’information auprès des administrateurs

L’administration d’une évaluation doit être standardisée si on ne veut pas introduire des biais et des erreurs dus à la collecte des données. La mise à l’essai permet de recueillir des renseignements importants sur les difficultés rencontrées dans les différents milieux choisis. L’observation, par les administrateurs, des élèves soumis aux épreuves permet souvent de détecter des imprécisions dans les consignes ou des imprécisions dans les épreuves expérimentées.

En conséquence, il peut être utile de recueillir des commentaires auprès des administrateurs associés à la mise à l’essai. Un questionnaire devrait être prévu afin d’obtenir ces informations auprès des personnes étroitement impliquées dans l’administration de l’expérimentation du mécanisme d’évaluation.

F.  Codification et notation des cahiers d’évaluation

Un ensemble de données sera recueillie via les cahiers administrés aux élèves choisis. Il y aura probablement lieu de « corriger » certaines réponses fournies (questions à développement, par exemple); si telle est la situation, il faut habituellement retenir des mécanismes de contrôle de qualité touchant en particulier la cohérence de la notation. D’autres renseignements devront être codifiés avant leur introduction dans des bases de données. Il est prudent de bien préparer cette phase du traitement de l’information. Plusieurs modalités peuvent être retenues; il peut être utile de prévoir des formulaires de codification qui permettront une saisie plus rapide et plus rigoureuse des données recueillies après avoir été soit codifiées, soit corrigées. Si cela est possible techniquement, on pourrait envisager l’utilisation de formulaires adaptés à la lecture optique.

G. Saisie des données

L’entrée des données doit être exécutée avec rigueur et rapidité. Le choix des techniques à privilégier devrait être arrêté rapidement, même avant l’administration de la mise à l’essai. Il faut signaler qu’avant d’exécuter la saisie des données, il faudra préparer les bases de données qui accueilleront l’information recueillie. Il s’agit d’une opération technique qui exige du temps et de nombreuses vérifications. Encore ici, on pourrait étudier la possibilité d’utiliser la lecture optique permettant la reconnaissance informatique des caractères.

H.  Compilations statistiques

Dès le début de la saisie des données, il est souhaitable d’entreprendre immédiatement les compilations statistiques planifiées. Une telle façon de procéder à partir de données réelles permet d’identifier rapidement certains problèmes non prévus. Il est aussi possible de détecter des anomalies dans les fichiers créés au moment de l’entrée des données; il est alors plus facile d’en apporter les correctifs avant le début proprement dit des compilations statistiques.

Bien avant l’administration de la mise à l’essai, il faudra arrêter les types d’analyses statistiques que l’on croit utiles d’exécuter. On doit noter ici que les objectifs poursuivis par une mise à l’essai ne concernent pas la production de statistiques généralisables à l’ensemble de la population évaluée. Il s’agit de se prononcer sur les qualités métriques de l’instrumentation en développement. Les résultats obtenus permettront aux concepteurs des épreuves d’accomplir une révision des instruments qui seront utilisés au moment de l’administration finale. Les compilations statistiques retenues portent habituellement sur l’analyse d’items et l’examen de biais. On doit noter ici qu’il est difficilement possible de réaliser des analyses d’items selon la théorie des réponses aux items (TRI) puisque le nombre d’élèves soumis aux épreuves est limité; cette technique d’analyse vise la généralisation des résultats obtenus.

Il faudra aussi prévoir la communication des résultats aux responsables de la finalisation des épreuves qui seront utilisées au moment de l’administration du mécanisme d’évaluation. Souvent, il est nécessaire de fournir des informations sur les indices statistiques produits afin de favoriser une utilisation optimale des statistiques disponibles.

I.   Conclusion

Une mise à l’essai d’un mécanisme d’évaluation est importante pour assurer toute la rigueur exigée par les différents intervenants intéressés par l’information qui sera recueillie. La révision des instruments et des procédures d’administration sera principalement touchée par cette activité. C’est aussi l’occasion d’expérimenter les tâches qui devront être accomplies en précisant d’une part les responsabilités de chaque partenaire et d’autre part les méthodes et techniques à privilégier.

  Adresse courriel : info@mcpythagore.com