Comment classer les questions pour améliorer la validité d'une épreuve

La catégorisation des questions permet d'améliorer la validité d'une épreuve au niveau de son contenu, de faciliter la réutilisation des questions dans différents contexte et leur partage.

Deux niveaux de preuves par le contenu peuvent être mis en œuvre au sein d'un examen isolé :

• La congruence (alignement pédagogique entre objectifs, activités et évaluation) : quelles tâches cognitives sont visées ? Quel est leur niveau de complexité ?
• La représentativité (échantillon représentatif de chaque apprentissage à évaluer) : quelle répartition des questions au regard de la structuration des apprentissages ? (généralement par chapitre ou par objectif)

(Source : MOSS (1995), cité par LAURIER (2005), Les principes de la mesure et de l'évaluation des apprentissages, Chapitres 4.2 « Validité » et 4.3 « Fidélité », pp. 63-69.)

C'est la proposition la plus simple à mettre en œuvre. Il suffit de recréer dans la banque de questions l'architecture des objectifs d'apprentissages (ou à défaut celle des chapitres du cours).

Unisciel propose un arbre de décision afin de hiérarchiser le niveau de complexité des questions d'un test. Il s’appuie sur la taxonomie de Bloom, et propose quatre niveaux de complexité :

• niveau 1 : mémoriser/connaître
• niveau 2 : transposer/changer de registre
• niveau 3 : appliquer
• niveau 4 : analyser

Les niveaux vont du simple (connaître) au complexe (analyser). L'accession au niveau supérieur nécessite théoriquement de posséder le niveau précédent.

(Source : UNISCIEL, l'université des sciences en ligne (2018). Banque de tests de positionnement - Guide de rédaction des questions d’évaluation (PDF))

Cette méthode est une combinaison des deux méthodes précédentes. On classe alors les questions par complexité à l'intérieur de dossiers correspondant aux objectifs d'apprentissages (ou à défaut aux chapitres).

Lors d'un tirage aléatoire, la plateforme tire au hasard le nombre de questions choisies dans la catégorie pointée. Cependant, la note de la question que vous avez indiquée lors de sa conception n'est pas conservée. Toutes les notes sont ramenées à 1.

Le niveau de difficulté d'une question est potentiellement variable en fonction de plusieurs paramètres :

• À quel moment de l'apprentissage intervient la question ? (avant, au début, en cours, à la fin, longtemps après)
• Quelles méthodes pédagogiques ont été employées ? (un point de cours sur lequel on insiste devient potentiellement plus facile)
• Quelle perception individuelle chaque apprenant a de la question ?

Le niveau de difficulté s'appréciera plutôt a posteriori d'une évaluation par l’analyse statistique des résultats obtenus. Attention :

• ces résultats ne valent que pour le groupe qui a passé l'examen : d'une année à l'autre, les paramètres évoluent (dates d'examens, ajustements de pédagogie, composition du groupe classe, etc.) ;
• nous ne savons pas si un étudiant qui a coché la réponse attendue l'a fait parce qu'il savait la réponse, parce qu'il a relevé des indices qui l'ont mené à cette réponse ou s'il a tout simplement choisi au hasard.

Mesurer avec plus de précision le niveau de difficulté d'une question nécessiterait de s'intéresser de plus près à la perception que les apprenants ont de la question. L'usage des degrés de certitude est une réponse possible proposée par Olivier Prospéri (2012) dans cette optique.

(Source : Prospéri (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés)