Traitement des données

L’utilisation d’outils informatiques

Habituellement, plusieurs programmes informatiques sont utilisés pour assurer la réalisation des travaux techniques qui prennent place dans le cadre d’une activité d’évaluation des apprentissages. Certains logiciels ont été développés pour accomplir des tâches spécifiques à chaque étape du déroulement d’un projet d’évaluation. Il faut toutefois être en mesure d’assurer les liens entre ces différents outils dans le but d’accomplir les travaux planifiés tout en respectant des critères de rigueur et de diligence dans leur accomplissement. Le choix de ces programmes doit souvent se faire en fonction des différentes phases du déroulement d’une activité d’évaluation. Toutefois, peu importe les outils informatiques retenus par les responsables concernés, il faut souvent prévoir des activités de formation ou de perfectionnement touchant tant les aspects techniques du fonctionnement des logiciels que le choix et la signification des indices statistiques adaptés à la situation.

Nous rappellerons brièvement certains travaux techniques à accomplir en y indiquant les types d’outils informatiques nécessaires. À titre d’illustration, nous présenterons des options du logiciel EduStat pouvant faciliter la réalisation de l’une ou l’autre activité prévue. Les points suivants seront abordés : la définition du plan de l’activité d’évaluation

• le choix de l’échantillon;

• la préparation des instruments, c’est-à-dire les épreuves et les questionnaires;

• le contrôle de qualité;

• la préparation et l’utilisation des bases de données;

• l’exécution des compilations statistiques;

• la réalisation des analyses statistiques;

• la préparation des rapports d’évaluation.

A.  Définition du devis ou du plan

Dans un premier temps, il est important de bien définir le devis de l’évaluation, c’est-à-dire sur quoi portera l’activité prévue. Il existe plusieurs techniques pour bien cerner le domaine à examiner. On peut signaler ici la préparation de « tableaux de spécification » qui guident les concepteurs des instruments nécessaires à la collecte de l’information (en particulier les épreuves et les questionnaires). En plus de bien connaître le « domaine » à analyser, il faut être en mesure d’établir les liens nécessaires avec les outils informatiques qui seront retenus pour assurer la réalisation des opérations techniques à venir. Il s’agit ici d’une étape de planification très importante qui consiste à fournir au logiciel retenu tous les paramètres nécessaires à l’accomplissement des activités ultérieures.

C’est ainsi que le logiciel EduStat comprend des options permettant de réaliser ce lien entre le devis de l’évaluation souhaité et le traitement informatique qu’il sera nécessaire d’apporter aux données recueillies. Il s’agit ici des activités reliées à la préparation de la base de données qui servira à réaliser les différentes opérations requises touchant tant l’entrée des données que le contrôle de qualité et le traitement de l’information. C’est ainsi que la préparation de la base de données préalable aux opérations réalisées avec EduStat offre aux responsables un outil susceptible de rendre cette planification plus rigoureuse. Une telle base de données contiendra déjà toutes les informations techniques touchant l’évaluation planifiée : le format des données recueillies, l’identification des valeurs valides, les modalités de correction des réponses, le rattachement au tableau de spécification, entre autres.

B.  Choix de l’échantillon

Avant l’administration proprement dite du mécanisme d’évaluation, il faut choisir les établissements scolaires et les élèves qui participeront à l’évaluation des apprentissages (principalement s’il s’agit d’une « enquête »). Une telle étude se réalise habituellement à partir d’échantillons qui doivent respecter les standards fixés pour être en mesure de faire de « l’inférence » statistique à partir des données recueillies, c’est-à-dire l’application à l’ensemble de la population des caractéristiques et résultats obtenus à l’aide de l’échantillon retenu. Plusieurs logiciels peuvent être utilisés pour accomplir cette importante tâche.

Les données nécessaires à cette activité sont déjà présentes dans des systèmes informatiques de la direction ministérielle responsable de la tenue à jour de l’inventaire de plusieurs caractéristiques du système d’éducation : l’effectif scolaire, les personnels, les locaux, les ressources financières, par exemple. Des systèmes informatiques ont ordinairement été mis en place pour tenir à jour cette information sur le système scolaire. Parfois des outils informatiques déjà disponibles sur le marché sont utilisés; il peut aussi y avoir la présence de systèmes développés spécifiquement pour répondre aux besoins administratifs d’un ministère de l’Éducation. Dans tous les cas, il faut s’assurer pouvoir extraire l’information requise pour s’en servir dans le cadre de la procédure d’échantillonnage arrêtée. Ordinairement, on favorisera la création de fichiers dans un format de type « chiffrier électronique» (Excel, par exemple) pour établir les liens entre les bases de données ministérielles et le logiciel que l’on retiendra pour choisir les établissements scolaires ou les élèves qui seront associés à l’activité d’évaluation.

Il existe plusieurs logiciels pouvant accomplir les tâches techniques reliées à la sélection des écoles, élèves ou personnels que l’on compte rejoindre dans le cadre de la procédure d’évaluation. Le logiciel EduStat comprend des options permettant d’établir un plan d’échantillonnage respectant les caractéristiques de l’évaluation en cours ainsi que la réalisation des différentes tâches reliées au choix des établissements. C’est ainsi que ce logiciel comprend un menu qui permet de constituer un échantillon conforme aux devis les plus couramment en usage. Dans un premier temps, il faut préparer une base de données qui sera utilisée pour la suite des opérations. Le tirage de l'échantillon est exécuté en tenant compte des choix retenus au regard des plans proposés. Certaines options permettent de produire des listes, des rapports et des fichiers susceptibles d'aider les responsables à mieux gérer le projet. Enfin, EduStat réalise le calcul du taux de participation et des poids si le plan d'échantillonnage retenu le prévoit.

C.  Préparation des instruments

Les instruments utilisés dans le cadre d’une évaluation des apprentissages doivent respecter de hauts standards de qualité. Il faudra en faire la préparation avec des outils informatiques permettant le traitement de textes et la préparation d’illustrations graphiques. Il existe sur le marché de tels logiciels. Il faut aussi que le personnel affecté à ces tâches de développement des épreuves, des questionnaires et des différents documents administratifs possède les compétences nécessaires pour utiliser les possibilités offertes par ces produits informatiques.

Il peut être nécessaire, sinon très utile, de prévoir la constitution de banques d’items permettant la préparation des épreuves qui seront requises pour réaliser les évaluations planifiées. Certains logiciels spécialisés peuvent être utilisés pour développer de telles banques d’information. L’outil choisi devrait pouvoir intégrer les fichiers informatiques créés au moment de la préparation des instruments d’évaluation déjà disponibles; il faut éviter d’avoir à recommencer l’entrée de l’information qui est déjà disponible.

Le logiciel EduStat dispose d’options permettant le développement de banques d’items à partir de bases de données portant sur des épreuves ou des questionnaires. D’autres options assistent le personnel concerné dans la gestion et l’utilisation d’un ensemble de banques d’items ou de questions dans le but de préparer des instruments de qualité.

D.  Contrôle de qualité

Tout au long du déroulement d’une activité d’évaluation, il est nécessaire d’avoir recours à des mécanismes de contrôle de la qualité. L’information recueillie et traitée dans le cadre de cette vérification de la qualité tant de l’administration de la procédure que de son traitement doit être soumise à des contrôles divers pour en assurer la rigueur et la validité. Il sera nécessaire de retenir les outils informatiques nécessaires à l’accomplissement de ces importantes tâches. Les sources d’information pourront être variées; il faudra s’assurer pouvoir établir des liens entre les renseignements pouvant provenir de systèmes informatiques différents.

Le logiciel EduStat comprend de nombreuses options pouvant assister les responsables tout au long du déroulement d’une activité d’évaluation : la correction des réponses fournies par les personnes évaluées, la saisie des données, l’examen des qualités métriques des instruments d’évaluation, entre autres. EduStat propose plusieurs stratégies susceptibles d'aider les responsables à contrôler la qualité des fichiers de données : distributions de fréquences, validation et comparaison entre un fichier contenant un échantillon d'enregistrements et le fichier de référence. D'autres options permettent d'exercer un contrôle de la qualité de la correction des réponses fournies par les élèves dans le cadre d'une épreuve.

E.  Entrée des données

Après avoir préparé les instruments de collecte de données, il est prudent de prévoir immédiatement le mécanisme de saisie des données qui seront recueillies. La plupart des logiciels de traitement de données prévoient des options de saisie de l’information. Il faut retenir une technologie compatible aux systèmes informatiques déjà disponibles dans le service administratif responsable de l’opération. Comme pour les autres activités prenant place dans le déroulement du mécanisme d’évaluation des apprentissages, il faudra prévoir l’intégration de l’entrée des données recueillies aux opérations prenant place avant la constitution des fichiers de données et celles qui suivront la saisie de l’information.

Le logiciel EduStat comprend des options pour assurer l’entrée des données par rapport aux caractéristiques de l’instrument développé. Il est possible de choisir parmi plusieurs modalités celle qui convient le mieux à l’évaluation conduite ou bien en fonction des ressources disponibles. On peut signaler ici au moins trois options de saisie qui permettent, à des degrés différents, d’assurer un contrôle sur cette opération : i) une saisie unique sans validation, c’est-à-dire l’entrée des données sans l’intervention du logiciel pour vérifier la validité de l’information fournie; ii) une saisie unique validée, c’est-à-dire l’entrée des données avec intervention du logiciel lorsque l’information fournie ne respecte pas les valeurs définies comme « valides »; iii) une double saisie, c’est-à-dire l’entrée des données par deux opérateurs différents ou le même opération à deux moments différents.

Il faudra s’assurer que les fichiers créés au moment de la saisie des données soient facilement utilisables par les logiciels que l’on compte se servir pour assurer le traitement de l’information. On doit prendre note que plusieurs logiciels différents peuvent être nécessaires pour accomplir les compilations variées prenant place dans un mécanisme d’évaluation des apprentissages.

F.  Préparation des bases de données

À la suite de la saisie les données recueillies, il faudra créer les bases de données nécessaires à l’exécution des compilations statistiques pertinentes. Plusieurs tâches doivent être réalisées pour garantir la disponibilité de bases répondant aux particularités de l’activité en cours. On peut noter ici l’extraction de renseignements, la fusion de bases ou de fichiers de données, la création de fichiers par rapport à des formats variés. Encore ici, il faut prévoir l’utilisation d’outils informatiques flexibles et adaptés aux particularités du mécanisme d’évaluation en cours de réalisation.

Le logiciel EduStat comprend une série d’options susceptibles de réaliser les activités les plus couramment dans le cadre d’une activité d’évaluation. Plusieurs autres logiciels peuvent s’avérer très utiles pour réaliser des tâches très spécifiques.

G.  Exécution des compilations statistiques

Des bases de données étant disponibles, il est alors possible d’entreprendre une série de compilations statistiques adaptées aux informations recueillies. Les renseignements contenus dans les bases de données proviennent ordinairement de sources différentes : i) les élèves évalués; ii) les enseignants de ces élèves; iii) les directeurs des écoles choisies; iv) le contrôle de la qualité (administration de l’évaluation et correction des réponses fournies). Il est souhaitable d’établir des liens entre ces différentes sources d’information. Il est aussi nécessaire de retenir des techniques d’analyse adaptées à chaque ensemble de données.

Il est possible que plusieurs outils informatiques soient utilisés pour réaliser l’une ou l’autre tâche spécifique aux particularités du plan retenu. Il est prudent de choisir les logiciels par rapport aux possibilités d’établir des liens entre l’information traitée par chacun. À titre d’exemple, on peut noter que le logiciel EduStat contient des options de compilations touchant particulièrement l’évaluation des apprentissages scolaires et leur relation avec des renseignements provenant de sources variées (contexte de l’école, information sur les élèves, les enseignants et les directeurs, opinions ou attitudes des personnes sondées, etc.).

Il est aussi nécessaire de réaliser des analyses permettant de se prononcer sur la qualité docimologique des instruments retenus (analyses d’items, analyse du fonctionnement différencié des items, par exemple). Des logiciels spécialisés peuvent être retenus pour accomplir ces travaux antérieurs aux analyses statistiques proprement dites. Par la suite, il faudra réaliser les différentes compilations pour disposer de l’information nécessaire à la conduite de l’évaluation proprement dite des apprentissages scolaires et des conditions favorables au rendement des élèves.

H.  Réalisation des analyses statistiques

Les programmes informatiques utilisés pour réaliser les différentes compilations statistiques jugées utiles fournissent au personnel associé à l’évaluation plusieurs séries d’indices statistiques. Il faut en faire l’interprétation pour rendre compte des tendances observées. Les personnes concernées doivent posséder une bonne maîtrise des différents coefficients calculés à la suite des compilations réalisées. Le sens à donner à ces indices statistiques devra être présentés et expliquées aux rédacteurs des rapports d’évaluation. Il faudra aussi être en mesure de fournir des explications claires aux publics concernés par les résultats obtenus à la suite d’une évaluation.

I.   Travaux complémentaires

Il est souvent nécessaire d’entreprendre l’exécution de travaux complémentaires pour répondre à des interrogations suscitées au moment de l’analyse de l’information disponible. EduStat comprend des options (des utilitaires) qui peuvent être utiles aux responsables d'une recherche puisque plusieurs tâches se réalisent à l'aide de la micro-informatique. On peut signaler le tri d'enregistrements, la fusion de fichiers ou l'extraction d'enregistrements, la recodification des valeurs d'une variable, le repérage d'enregistrements affectés d'un même identificateur. Lorsque des analyses statistiques complémentaires sont nécessaires, le responsable peut souhaiter faire appel à des logiciels spécialisés. Il peut alors utiliser le logiciel EduStat pour préparer les fichiers nécessaires à l'utilisation de ces logiciels.

J.  Préparation des rapports d’évaluation

Il faut rapidement produire le ou les rapports qui présenteront les résultats obtenus et l’information recueillie. Il est important de fournir aux personnes qui auront le mandat de rédiger ces rapports les résultats des compilations. Il s’agit ordinairement de la production d’un ou de plusieurs rapports techniques qui seront utilisés comme source d’information par le ou les rédacteurs des rapports. Les logiciels de traitement de l’information choisis devraient produire des tableaux facilement intégrables dans un rapport. Il faut éviter de saisir à plusieurs occasions l’information qui sera intégrée à l’un ou l’autre rapport; on devrait pouvoir obtenir ces renseignements techniques à partir de productions réalisées par un logiciel. Tout comme plusieurs logiciels de traitement statistique, le logiciel EduStat produit des rapports en différents formats qui peuvent être directement intégrés à des logiciels comme Word ou Excel

On peut noter que les rapports statistiques produits par le logiciel EduStat et directement imprimables permettent une communication des résultats aux personnes intéressées. Le logiciel EduStat produit aussi des graphiques qui peuvent être facilement intégrés à un rapport. Il est possible de produire de tels rapports de différents formats pouvant être exploités à l’aide de logiciels spécialisés en éditique et en illustrations graphiques.

  Adresse courriel : info@mcpythagore.com