Planification

Les tableaux de spécification

Pour garantir la validité de contenu d'une épreuve, il faut, notamment, s'assurer que les questions qui la composent soient représentatives des apprentissages visés par le programme d’études. Le tableau de spécification permet de s'assurer de la représentativité des apprentissages mesurés par une épreuve et de produire les résultats obtenus par les élèves par rapport aux regroupements des items définis par le tableau de spécification.

En outre, le tableau de spécification permet de vérifier la congruence entre le contenu d'une épreuve et les apprentissages devant être réalisés dans le cadre d'un programme. Si, dans un cours, on demande aux élèves de résoudre des problèmes ou d’analyser des concepts, l'épreuve devrait mesurer toutes ces habiletés ou compétences et non seulement celles qui portent sur l'acquisition de connaissances (la mémorisation, par exemple).

On peut noter qu’au moment de la préparation des bases de données qui seront utilisées par le logiciel EduStat, il aura fallu relier les items (c’est-à-dire les variables) au tableau de spécification. Cette information permettra de réaliser des compilations statistiques tenant compte de ces regroupements de variables.

Les informations reliées à la préparation d’un tableau de spécification ont été regroupées par rapport aux étapes suivantes de sa préparation :

• Analyser le programme en vue de construire un tableau de spécification

• Constituer le tableau de spécification

• Valider le tableau de spécification

La dernière section de ce document présente sommairement les liens qui s’établissent entre une base de données de format EduStat et le tableau spécifique à l’épreuve concernée.

A.  Analyser le programme d’étude

Pour bâtir un tableau de spécification, il faut d'abord analyser le programme c’est-à-dire la discipline concernée. Cette analyse a pour but de déterminer quels sont les apprentissages qui feront l’objet de mesure et quelle est leur importance relative, c’est-à-dire leur pondération.

Il s'agit alors d'examiner les éléments constituant le programme. Toutefois, il ne faudrait pas se limiter aux composantes liées uniquement aux contenus notionnels. Il faut également déterminer quels sont les processus mentaux ou les habiletés intellectuelles que les élèves doivent exercer pour traiter ces contenus notionnels : doivent-ils les mémoriser ou en faire l'analyse? Doivent-ils appliquer des règles, résoudre des problèmes, évaluer des situations?

De plus, idéalement, il faut tenir compte des autres éléments qui constituent un programme, comme les caractéristiques de l'approche disciplinaire ou les buts de la formation. Ces éléments ont un impact sur le format de l'épreuve ou des items.

L'analyse du programme se fait en fonction du but de l'épreuve et en sélectionnant, parmi les éléments répertoriés, ceux qui sont les plus significatifs, représentatifs et essentiels et qui feront l'objet de la mesure par l'épreuve utilisée.

Il faut d'abord examiner les contenus notionnels (les notions, les concepts, les thèmes) et, ensuite, les habiletés intellectuelles ou les compétences que les élèves doivent exercer pour traiter ces contenus notionnels. De plus, il faut déterminer l'importance relative ou la pondération de ces éléments.

a) Les contenus notionnels

En fonction du but visé, les contenus notionnels devraient être analysés, sélectionnés puis regroupés en sous-ensembles représentatifs afin d'établir une liste des notions à mesurer.

Afin d'éviter de poser trop de questions sur un aspect secondaire de la discipline ou encore de négliger des aspects importants, il faut retenir ce qui est essentiel et représentatif du programme.

Les contenus notionnels retenus et organisés doivent être ni trop généraux ni trop spécifiques. S'ils sont trop globaux, ils conduiront à des interprétations multiples; s'ils sont trop spécifiques, ils obligeront les concepteurs de l’épreuve à en retenir une grande quantité.

Lorsqu'il s'agit d'une épreuve synthèse qui vise à dresser un bilan des apprentissages en fin de session ou d’année scolaire, on privilégie les éléments englobants qui correspondent souvent mais pas toujours aux objectifs terminaux ou à un regroupement d'objectifs terminaux. Par contre, en cours d'année, si l'on souhaite élaborer une épreuve pour repérer les difficultés des élèves, on s'intéresse plus aux différentes notions ou aux étapes de la démarche intellectuelle.

Le tableau suivant propose un exemple d’une analyse du contenu notionnel d’un programme d’études.

b) Les habiletés intellectuelles ou les compétences

Il faut déterminer et expliciter les processus mentaux ou les habiletés intellectuelles qui réfèrent à la discipline dont les élèves doivent aborder les contenus notionnels. Il s'agit de définir quels processus cognitifs les élèves mettent en branle pour réaliser les apprentissages prévus dans un programme donné.

À chaque habileté ou compétence devrait correspondre une liste de manifestations ou de comportements observables. Les habiletés intellectuelles se réfèrent habituellement à des taxonomies. Si le programme examiné ne se renvoie pas explicitement à une taxonomie particulière, il faut en choisir une ou en définir une appropriée à la discipline.

On trouve au tableau suivant un exemple énumérant les habiletés ou compétences retenues touchant un programme d’études.

c) La pondération des contenus notionnels et des habiletés intellectuelles ou des compétences

Il faut déterminer la pondération ou l'importance relative des contenus notionnels et des habiletés intellectuelles ou compétences. Le poids ainsi alloué sert à déterminer l'importance de chacun des contenus et de chacune des habiletés ou compétences à l'intérieur de l'épreuve et le nombre de questions à concevoir pour chaque composante. Voici un exemple d’une telle pondération intégrant les deux tableaux présentés plus haut.

L'importance relative des éléments du programme a une incidence directe sur l'importance qu'aura chaque question par rapport à l'ensemble de l'épreuve. Si on accorde le même nombre de points à toutes les questions, on retrouve un nombre proportionnel de questions correspondant aux pondérations.

La pondération des éléments du programme peut déjà être indiquée dans le programme. Sinon, il faut la déterminer avec l'aide d'experts de contenu. Dans un cas comme dans l'autre, il peut être nécessaire de réviser cette pondération à la lumière du but de l'épreuve. C'est fondamentalement une question de consensus entre experts.

À la fin de l'étape qui consiste à analyser le programme, on devrait avoir une idée des éléments à mesurer dans une épreuve: quels sont les contenus notionnels à vérifier et comment les élèves doivent les traiter. Cette étape conduit à l'élaboration d'un tableau de spécification.

B.  Constituer le tableau de spécification

Le tableau de spécification est un élément de planification qui permet de structurer les données pertinentes pour l'élaboration d'une épreuve. C'est, en quelque sorte, un plan d'examen en ce sens qu'il détermine l'importance relative des contenus notionnels et des niveaux de fonctionnement cognitif attaché à chaque élément de contenu et qui doivent faire objet de mesure dans une épreuve. Le tableau de spécification constitue un moyen efficace pour préciser l'échantillon de questions à inclure dans une épreuve.

Plus précisément, le tableau de spécification est un tableau ordinairement à double entrée: une pour la liste des contenus notionnels à maîtriser, l'autre pour la liste des habiletés intellectuelles ou des compétences à mesurer. Il indique aussi l'importance relative ou la pondération des contenus notionnels et des habiletés intellectuelles ou des compétences.

Le tableau de spécification illustre également les recoupements entre les contenus notionnels et les habiletés intellectuelles ou des compétences. On appelle « dimension » l'intersection entre une habileté ou une compétence et un contenu. Chaque dimension précise l'objet de mesure à partir duquel les questions seront rédigées.

Il est possible qu'une case d'un tableau de spécification soit vide, c'est-à-dire que l'intersection entre une habileté ou une compétence et une notion n'existe pas en fonction de la discipline à évaluer. Il s'agit donc d'une dimension qui ne fera pas l'objet de mesure dans l'épreuve.

Un tableau de spécification se présente ordinairement sous la forme d’un schéma comme celui-ci.

TABLEAU DE SPÉCIFICATION

L'utilisation du tableau de spécification lors de l'élaboration d'une épreuve permet de s'assurer du lien entre l'épreuve et le programme. En effet, si l'on rédige des questions selon les buts du programme en couvrant l'ensemble des dimensions du tableau de spécification tout en respectant les pondérations qui y sont indiquées, on s'assure que l'épreuve sera le portrait fidèle du programme. Le tableau de spécification constitue un ensemble de données à partir duquel plusieurs épreuves, portant sur un même programme, peuvent être élaborées.

En outre, le tableau de spécification est d'une grande utilité au moment de l'analyse des résultats. Il permet de repérer les forces et les faiblesses d'un élève ou de l'ensemble des élèves qui ont subi l'épreuve. En effet, comme on connaît à quelle dimension se réfère chaque question de l'épreuve, on peut déterminer, à partir des questions échouées et des questions réussies, quels sont les contenus ou bien les habiletés ou les compétences qui ont posé problème ou lesquelles sont les mieux maîtrisées.

Voici un exemple de tableau de spécification. Les numéros d’items rattachés aux différentes dimensions sont indiqués dans le tableau.

C. Valider le tableau de spécification

Pour garantir la validité de contenu du tableau de spécification, il faut consulter des experts : des enseignantes et des enseignants, des spécialistes de la discipline. Le consensus entre experts de contenu est la meilleure façon de vérifier, en fonction du but visé, si le tableau est représentatif des apprentissages touchés par le programme et s'il traduit bien les buts de la formation.

Plus spécifiquement, la validation du tableau porte sur les éléments suivants :

• La représentativité des apprentissages prévus au programme :

-   les contenus notionnels

-   les habiletés intellectuelles ou les compétences

-   les liens entre les contenus et les habiletés ou compétences

   (les dimensions)

-   les buts de la formation

• La pondération accordée aux :

-   contenus notionnels

-   habiletés intellectuelles ou aux compétences

Nous fournissons ci-dessous un questionnaire comprenant des éléments qui permettront de valider le tableau de spécification d’une épreuve.

En fonction du but de l'épreuve, répondre aux questions suivantes :

Liens entre le tableau de spécification et la base de données EduStat

Au moment de la préparation d’une base de données portant sur une épreuve, chaque question posée devrait être associée à certains paramètres qui permettront le traitement de l’information recueillie. À titre d’exemple, voici les paramètres d’une question de mathématiques (l’item M01).

Paramètres de la variable « M01 »

Par rapport à chaque référence inscrite en marge de l’illustration, voici une courte description :

1.  Identification de l’item

2.  Description de l’item

3.  Type de variable : item à réponse construite

4.  Valeur valide : 0 ou 1

5.  Valeur manquante : 9

6.  Rattachement au tableau de spécification (voir plus bas)

7.  Légende : 1= réponse correcte; 0=réponse incorrecte

Par rapport au tableau de spécification, le programme informatique EduStat prévoit trois regroupements. Voici les renseignements fournis au logiciel par rapport à chaque regroupement.

Les regroupements

Le premier regroupement concerne les « domaines ». Cette épreuve de mathématiques touche trois domaines :

• L’arithmétique

• Le système métrique

• La géométrie

Le deuxième regroupement répertorie les « habiletés » évaluées par l’épreuve; il s’agit de ceux-ci :

• La connaissance

• La compréhension

• L’application

• L’analyse

• La synthèse

Le troisième regroupement n’a pas été retenu pour cette épreuve.

 Adresse courriel : info@mcpythagore.com