Démarche d’évaluation
Démarche d’évaluation et EduStat
Ce document présente sommairement les étapes habituellement retenues pour la mise en place d'une évaluation pédagogique. Par rapport à chaque étape identifiée, ce document présente des tâches pouvant être réalisées à l’aide du logiciel EduStat.
I. Détermination des objectifs visés par l’activité d’évaluation
La conduite d'une recherche, d’une étude, d’une enquête, d’un sondage ou d’une évaluation pédagogique est retenue pour confirmer ou infirmer des hypothèses formulées par des responsables scolaires. Les instruments préparés de même que les sources d'information consultées doivent permettre de répondre aux interrogations alors soulevées. C'est à cette étape que les responsables inventorient les sources d'information disponibles et les méthodes de collecte de renseignements les plus appropriées. Il faut de plus tenir compte des ressources disponibles pour réaliser cette activité.
Les responsables doivent, dès le début des discussions sur l'opportunité de mener une activité d'évaluation, considérer les aspects techniques d'une telle opération. Cette manière de procéder peut éviter d’exécuter des travaux qui s'avéreront peu utiles ou impossibles d'y donner suite. Parmi les aspects techniques à considérer, il est bon d'inclure les logiciels disponibles pour réaliser les opérations reliées à la saisie des données, à la constitution des fichiers, au contrôle de la qualité, à l'analyse statistique. Il faut aussi considérer l'équipement disponible pour accomplir ces tâches. Le logiciel EduStat est un logiciel pouvant assister dans la réalisation d'un ensemble d'opérations reliées à l'exécution d'une évaluation, d'un sondage ou d'une recherche.
II. Définition du plan de travail
Avant de préparer les instruments qui seront utilisés pour recueillir l'information, il faut en préciser le devis, c'est-à-dire son organisation interne. Habituellement, il est possible de regrouper les éléments d'information à recueillir par rapport à des dimensions. Il peut aussi être utile de rattacher ces dimensions à des volets ou à des thèmes d'analyse. Par exemple, les items d'une épreuve de mathématiques pourraient être rattachés simultanément à des dimensions rendant compte des contenus notionnels et des dimensions décrivant des habiletés ou des compétences.
La définition des bases de données constitue une étape importante pour l'utilisation ultérieure d’un logiciel de traitement de l’information (Le logiciel EduStat, par exemple). C'est alors que les informations sur le devis de l'étude sont fournies au logiciel. Il y a peu de limites quant au nombre de dimensions à inclure dans un tel devis. Si on utilise le logiciel EduStat, ces dimensions peuvent être regroupées par rapport à trois volets différents. Ainsi, une même question pourra être rattachée à trois dimensions différentes (par exemple, les domaines touchés, les habiletés ou compétences concernées, les objectifs visés).
III. Préparation des instruments de collecte de données
Il est possible que l'on opte pour l'administration de plusieurs instruments de collecte de données. Les questions doivent respecter un ensemble de critères. Par ailleurs, plusieurs types de questions peuvent être retenus comme celles à choix multiples ou à réponses courtes. Il peut être utile de recourir à des banques d’items au moment de la préparation des instruments de collecte de l’information.
Le logiciel EduStat permet de fournir les différents paramètres caractérisant chaque question ou chaque renseignement demandé : le type d'information recueillie, le type de questions retenues, les réponses valides, la réponse correcte s'il y a lieu, un identificateur, une courte description de l'information recueillie. Ces renseignements sont fournis au moment de l'élaboration des bases de données et servent à valider les données recueillies lors de l'administration. Il est aussi possible de créer et de gérer des banques d’items ou de questions à l’aide du logiciel EduStat.
IV. Mise à l'essai
Habituellement, les instruments élaborés pour conduire une évaluation ou un sondage sont vérifiés auprès d'un échantillon limité. Pour réaliser une mise à l'essai, les opérations habituellement conduites dans le cadre d'une évaluation seront les suivantes : administration des questionnaires, codification si requise, entrée des données, constitution de fichiers de données, compilations statistiques. Compte tenu des résultats obtenus, il est souvent nécessaire d'apporter des modifications aux instruments ou aux règles régissant le déroulement de l'opération.
On peut utiliser le logiciel EduStat pour les différentes opérations reliées à la mise à l'essai des instruments. C'est ainsi qu'il est possible de recourir aux options de saisie pour entrer l'information recueillie. Les utilitaires compris dans le logiciel EduStat peuvent être utiles pour réaliser un ensemble d'opérations sur les fichiers de données constitués : extraction de données, fusion de fichiers, tri de l'information, copie de sécurité. Cependant, le logiciel EduStat est particulièrement utile au moment de l'analyse statistique des données. Trois options sont bien adaptées ici : les distributions de fréquences, l'analyse d'items et l'analyse des biais. Les statistiques produites par ces options permettent de détecter des problèmes pouvant être reliés à la formulation des questions.
V. Finalisation de l'instrumentation
Compte tenu des résultats de la mise à l'essai, les instruments doivent être modifiés en conséquence. Il est aussi possible qu'il s'avère nécessaire d'apporter des changements aux procédures régissant le déroulement de l'opération.
Il s'agit ici de mettre à jour les bases de données décrivant les instruments utilisés. Il peut s'agir de mettre de côté certains éléments d'information, d'en ajouter ou d'apporter des modifications. Le logiciel EduStat comprend des éditeurs spécialisés qui permettent de réaliser ces opérations afin de disposer de bases de données rendant compte des modifications retenues.
VI. Échantillonnage
Une évaluation ou un sondage se réalise souvent à l'aide d'un échantillon. Si tel est le cas, il faut s'assurer que cet échantillon respecte certains critères comme la représentativité et la taille permettant de réaliser des compilations comprenant l'inférence statistique.
Le logiciel EduStat contient des options qui permettent de réaliser les différentes opérations requises pour sélectionner un échantillon : le calcul de la taille de l’échantillon, la création de la base d'échantillonnage, le choix du plan d'échantillonnage, la sélection de l'échantillon, le remplacement des désistements, l'inscription de la participation, le calcul de la pondération, la production de différents rapports.
VII. Contact avec le milieu
Les responsables doivent habituellement informer les personnes qui seront concernées par l'évaluation ou le sondage. Un tel contact avec le milieu permet de mieux assurer la participation à l’administration du mécanisme, en particulier la collecte des données.
Certaines options d'échantillonnage du logiciel EduStat permettent de produire différentes listes qui peuvent être utilisées pour contacter le milieu visé par l'opération. Le logiciel EduStat dispose aussi d’options de production de listes variées à partir de l’information comprise dans la base de données.
VIII. Administration de l'instrumentation
L'administration de l'instrumentation est souvent confiée à des tiers organismes. Par exemple, un instrument d'évaluation des apprentissages pourrait être administré par du personnel œuvrant dans le milieu scolaire.
La collecte de l'information peut se réaliser directement par les responsables de l'administration d'un sondage. Par exemple, si un sondage est exécuté par entrevues (téléphoniques ou autres), le logiciel EduStat peut alors être utilisé pour l'entrée des renseignements fournis par les répondants.
IX. Codification et correction
Les questionnaires remplis doivent être vérifiés pour s’assurer du respect des directives prévues. Il peut arriver que certaines informations doivent être codifiées avant de procéder à une analyse à l'aide d'un programme de traitement. Ceci se produit principalement lorsque l'instrumentation comporte des questions à réponses construites ou invitant le répondant à fournir des commentaires. De plus, il est possible qu'une épreuve comporte des questions autres qu'à choix multiples, comme celles à « crédits partiels ». Dans ce cas, il faut corriger les réponses fournies à l'aide des consignes prévues dans le but de garantir la rigueur de l'opération.
S'il y a codification de certaines réponses, il est possible que ces codes soient définis au cours de cette opération. Il faudra alors faire les ajustements nécessaires aux bases de données afin d'avoir l'ensemble des codes attendus au moment de la validation des fichiers de données. Une telle souplesse est offerte par le logiciel EduStat. De plus, ce logiciel rend possible l’utilisation de plusieurs techniques susceptibles d’exercer un contrôle de la qualité de la correction.
X. Saisie des données
Plusieurs techniques peuvent être utilisées pour entrer les données recueillies à l'aide d'un questionnaire ou d'une épreuve. Parfois, les responsables d'une étude, d'une évaluation ou d'un sondage confient à une firme spécialisée le soin de saisir les données. Dans ce cas, il faut bien préciser les règles de saisie rattachées aux instruments utilisés. Il est aussi possible que certains instruments puissent être « lus » par un lecteur optique. Il s'agit d'une façon de procéder qui minimise les erreurs dues à la saisie et qui accélère le processus. Enfin, les responsables peuvent souhaiter réaliser eux-mêmes cette opération. Il faut alors veiller à choisir un mécanisme adapté.
Le logiciel EduStat comporte des options permettant de saisir les données : la double saisie, la saisie unique ou la simple saisie avec validation en cours de saisie. De plus, plusieurs formats de présentation des fenêtres de saisie sont proposés : l'ensemble des objets dans une même fenêtre, l'affichage d'un nombre limité de variables dans une même fenêtre, l'affichage de l'ensemble des renseignements disponibles sur chaque objet de saisie. Si on souhaite utiliser la lecture optique, le logiciel EduStat comprend des options qui assistent dans la préparation des fiches de codification pouvant être « lues informatiquement ».
XI. Préparation des fichiers
Après avoir saisi les informations recueillies à l'aide d'un questionnaire ou d’une épreuve, il est nécessaire de préparer les fichiers de données qui seront utilisés par un programme informatique dans le but de faire des compilations. Par exemple, il est possible que les responsables de la saisie aient constitué plusieurs fichiers. Il faut alors regrouper ces différents fichiers pour en réaliser l'analyse.
Le logiciel EduStat contient un ensemble d'utilitaires permettant de réaliser des opérations sur les fichiers de données. Il s'agit, entre autres, du tri, de la fusion, de l'extraction et de la recodification de certains renseignements.
XII. Contrôle de la qualité
Il est important de prévoir des mécanismes qui permettent d'assurer un contrôle de la qualité tant de l'ensemble des procédures d'administration que des données recueillies dans le cadre d'une étude ou d'une évaluation. Il en va souvent de la crédibilité des résultats de l'opération. Des procédures de contrôle devraient être prévues touchant tant l'administration du mécanisme que des activités reliées à la correction ou à la codification des réponses. Il faut aussi s'assurer que les bases de données créées contiennent des données valides. Enfin, il est nécessaire de veiller à la justesse des compilations statistiques réalisées.
Parmi les vérifications à réaliser pour assurer le contrôle de la qualité, il s'avère important de s'assurer que les fichiers de données soient conformes à la réalité et que les compilations soient exemptes d'erreurs de calcul. Plusieurs stratégies permettent de réaliser un tel contrôle. Le logiciel EduStat en propose plusieurs touchant tant la saisie des données que la cohérence de la correction des réponses fournies.
XIII. Analyse statistique
La compilation des données recueillies constitue une étape très importante dans la réalisation d'une étude, d'un sondage ou d'une évaluation. Les résultats obtenus permettront de confirmer ou d'infirmer les hypothèses formulées au début du processus. Il faut toutefois retenir les techniques d'analyse statistique adaptées à l'opération et au type de données.
Il est souvent nécessaire de recourir à plusieurs programmes informatiques pour réaliser l'ensemble des analyses susceptibles de fournir les réponses aux questions soulevées par la recherche. Pour sa part, le logiciel EduStat permet de réaliser des analyses statistiques de premier niveau. C'est ainsi qu'il est possible de compiler des distributions de fréquences. Lorsque le projet inclut l'administration d'une épreuve, ce logiciel permet l'exécution d'analyses d'items ainsi que le calcul de proportions de réussite. Il permet aussi de dresser des tableaux croisés faisant intervenir deux séries de variables ou des résultats moyens. Le logiciel EduStat produit aussi certaines illustrations graphiques. Il facilite enfin l'établissement de liens avec d'autres logiciels spécialisés lorsque requis.
XIV. Préparation des rapports
Au moment de la préparation des rapports rendant compte de l'étude réalisée, il est souvent important d'exécuter des compilations pour vérifier l'une ou l'autre hypothèse découlant d'une première série d'analyses statistiques. Les responsables doivent donc disposer d'outils souples permettant de réaliser ces traitements supplémentaires. De plus, il peut être utile de disposer de résultats d'analyses statistiques sous forme électronique facilement intégrable au rapport en préparation. Une telle façon de procéder peut éviter des erreurs dues à des transcriptions tout en diminuant les délais de production.
Le logiciel EduStat permet de générer des renseignements complémentaires à partir d'informations disponibles. Il est ainsi possible de vérifier de nouvelles hypothèses énoncées à la suite des premières analyses statistiques. Par ailleurs, les rapports produits par le logiciel EduStat se présentent sous forme électronique facilement utilisable par un logiciel de traitement de texte, d'édition électronique ou de feuilles de calcul.
Adresse courriel : info@mcpythagore.com
