Items d’évaluation

Les banques d’items

Plusieurs responsables de l’administration d’évaluation des apprentissages trouvent utile et même nécessaire de développer des « banques d’items » qui seront par la suite utilisées pour la préparation des instruments nécessaires à la réalisation d’une évaluation. Le matériel faisant partie de telles banques doit respecter des critères élevés de qualité et avoir été classé par rapport à des catégories permettant de faire des choix faciles et adaptés aux situations rencontrées.

Le logiciel EduStat comprend des options de création et de gestion de banques d’items. Il existe sur le marché des logiciels spécialisés pour la création et l’exploitation de banques d’items. Certains logiciels permettent même de générer des tests administrés directement à l’ordinateur et adaptés aux réponses fournies par l’élève (par exemple, le « testing adaptatif »).

Le logiciel EduStat comprend des options permettant de créer des banques d’items, d’enregistrer l’information pertinente dans des bases de données et d’exploiter ces bases pour créer des épreuves. Il est aussi possible de produire des banques de questions qui permettront d’élaborer des questionnaires complémentaires ou des questionnaires de « sondage d’opinions ».

Plusieurs intervenants peuvent être associés à la création, à la mise à jour et à l’exploitation des banques d’items. Même si une même personne peut réaliser l’ensemble des travaux associés aux banques d’items, il est possible d’identifier trois catégories de personnel qui réaliseront habituellement certains travaux spécifiques. Voici sommairement présentées les catégories d’intervenants pouvant être associés aux activités reliées à la préparation de banques d’items et à leur utilisation.

A. Les travaux préliminaires pourraient être accomplis par des informaticiens ou des utilisateurs réguliers du logiciel EduStat. Ces spécialistes seront plus particulièrement responsables de la création des bases de données de format EduStat ainsi que de l’intégration des items dans les bases de données.

B. L’inclusion des textes des items et des questions dans des fichiers Word dont le format respecte les exigences du logiciel EduStat devrait être confiée à des personnes ayant une bonne connaissance du logiciel de traitement de textes Word.

C. La création des items et des questions devrait être confiée à des spécialistes en évaluation des apprentissages ou en réalisation de questionnaires complémentaires ou de sondage. Ce sont ces personnes qui utiliseront probablement les banques d’items pour préparer des épreuves ou des questionnaires.

Les options prévues dans le logiciel EduStat établissent un lien entre les bases de données créées pour la réalisation d’une évaluation des apprentissages et la conservation de l’ensemble de l’information utilisée et son utilisation possible pour une autre activité d’évaluation. Voici la démarche à respecter pour créer des banques d’items et pour faire l’exploitation des informations alors disponibles.

Étape 1 – Préparer les questions

Dans un premier temps, il faut créer les items ou questions qui respectent le plan arrêté dans un tableau de spécification déjà disponible. En plus du texte de la question, il aura fallu rédiger, si jugé pertinent, les consignes d’administration et les consignes de correction. Il aura aussi été nécessaire d’indiquer, pour chaque question, son rattachement au tableau de spécification ainsi que possiblement un indice de difficulté définie a priori par le spécialiste de la mesure et de l’évaluation.

Étape 2 – Créer la base de données

Un nombre limité d’items ou de questions portant sur une même discipline ou un même sujet devrait être regroupé pour permettre la création d’une base de données de format EduStat. Certains champs d’information prévus dans une telle base de données devront être précisés pour permettre une utilisation optimale de ces renseignements au moment de la préparation d’épreuves ou de questionnaires. Il s’agit, en particulier des paramètres suivants des bases de données qui constitueront les futures banques d’items :

• l’identification de la variable – Il s’agira ici du numéro de l’item.

• la description des items ou des questions – On documente ordinairement chaque variable à l’aide d’un texte descriptif; ce texte sera copié (sans être imprimé dans les épreuves produites par la suite) dans les documents faisant partie des banques d’items.

• le type de variable – On précise s’il s’agit d’item à choix multiple, d’items à réponses construite, de texte ou d’illustration, de question de sondage.

• l’inscription des valeurs valides – Ce renseignement est principalement utile s’il s’agit d’un item à réponse construite.

• l’inscription de la clé de correction – Ce renseignement est principalement utile s’il s’agit d’un item à choix multiple.

• l’indication d’utilisation – Si approprié, ce renseignement permettra de connaître les items ou questions déjà utilisés.

• l’exclusion – Il est possible d’indiquer qu’une variable ne devrait pas être utilisée pendant une période donnée.

• l’indice de difficulté – Il est utile d’inscrire un code qui informera sur la difficulté de l'item. Le code choisi sera accessible au moment de la création d’une épreuve.

• le rattachement au tableau de spécification – Les épreuves devraient être développées à partir d’un tableau de spécification. Le logiciel EduStat permet de gérer jusqu'à trois ensembles de regroupements, c'est-à-dire de concevoir jusqu'à trois façons différentes de regrouper les items. Cette information sera affichée au regard de chaque item au moment de la création d’une épreuve.

• La ou les langues – Au moment de la création de la base de données, il y aura eu indication de la langue des items s’il s’agit d’une banque multilingue.

Étape 3 – Saisir les questions

Le logiciel EduStat comprend des options permettant de créer des banques d’items, d’enregistrer l’information pertinente dans des bases de données et d’exploiter ces bases pour créer des épreuves. Des opérations permettent de saisir les questions et leur intégration à la base de données. Après avoir créé une base de données correspondant à la banque d'items en développement, il faut incorporer, à la base de données, les textes faisant partie de chacune des questions. Deux démarches peuvent être retenues :

• utilisation de l'éditeur de paramètres de la base de la base de données;

• création de fichiers qui permettront d’ajouter les textes dans des documents Word pour leur intégration dans la banque d’items en développement.

Étape 4 – Utiliser les banques d’items

À la fin du processus décrit plus haut, toute l’information reliée à une banque d’items se retrouve dans une base de données de format EduStat. Voici la démarche à suivre pour créer une épreuve à partir d’une ou de plusieurs banques d’items. Cette démarche est formée de quatre séries d’activités :

• Choisir les banques d’items ou de questions;

• Choisir les items ou les questions;

• Finaliser la structure de l’instrument de collecte de données;

• Créer l’instrument de collecte de données.

A. Choisir les banques d’items

Comme nous l’indiquions plus haut, chaque item faisant partie de la banque choisie est relié à la base de données d'origine. Les renseignements sur les items (rattachement au tableau de spécification, indice de difficulté) sont enregistrés dans la base EduStat. Voilà pourquoi, il faut indiquer la ou les bases pertinentes pour avoir la liste des items faisant partie de cette ou de ces banques ainsi que les différentes caractéristiques qui leur sont affectées.

En pressant sur le bouton « Statistiques », un rapport présentant le rattachement des items au tableau de spécification est produit par rapport au format retenu, c’est-à-dire le format texte, un document Word ou un fichier Excel.

En pressant le bouton « Enregistrer la banque », il y a production d’un fichier Excel comprenant les renseignements suivants sur chaque item des banques actives :

• L’identification de l’item

• Le rattachement au premier regroupement du tableau de spécification

• Le rattachement au deuxième regroupement du tableau de spécification

• Le rattachement au troisième regroupement du tableau de spécification

• L’indice de difficulté

B. Choisir les items ou questions

Après avoir choisi la ou les bases de données rattachées aux banques d’items voulues, la liste des items disponibles s'affiche dans la fenêtre principale. Des renseignements sur chaque item se retrouvent dans différentes colonnes prévues à cette fin. Pour choisir un item devant faire partie de l'épreuve en préparation, il faut cliquer sur le numéro de ligne de l’item souhaité. Il est possible de visualiser l'item ou d'ajouter l'item à l'épreuve en préparation. Si on choisit l'option permettant d'ajouter l'item à l'épreuve, l'identification de l'item s'affiche alors dans la fenêtre du bas et il n’est plus possible de choisir cet item pour l’épreuve en préparation.

Il est aussi possible de sélectionner les items faisant partie de l’instrument en préparation en choisissant le bouton de « sélection automatique ». Un tableau comprenant le nombre d’items par dimension s’affiche alors. Il faut indiquer le nombre d’items à choisir; le logiciel sélectionnera aléatoirement des items.

    C. Finaliser la structure de l’instrument de collecte de données

Une série de bouton à droite de la fenêtre présentant la structure de l’épreuve en préparation permet d’exécuter différentes opérations. C’est ainsi qu’il est possible de modifier l'ordre de présentation des questions de l'épreuve en préparation. Il est aussi possible d’enregistrer la structure de l’instrument de collecte de données; ce fichier Excel pourra être utilisé ultérieurement pour poursuivre les opérations, en particulier la création de l’épreuve.

    D. Créer l’instrument de collecte de données

On doit tout d’abord identifier le fichier qui contiendra l’épreuve à produire. Après avoir pressé le bouton « Créer l’instrument » le programme enregistre l'épreuve dans un fichier de format RTF. Au préalable, il faut choisir les sections de l'épreuve à inclure dans le document en préparation. Le logiciel offre les choix suivants :

• Cahier de l'élève;

• Consignes d'administration;

• Consignes de correction.

Adresse courriel : info@mcpythagore.com