Catégoriser les questions pour améliorer la validité d'une épreuve

La catégorisation des questions permet d'améliorer la validité d'une épreuve au niveau de son contenu.

Deux niveaux de preuves par le contenu peuvent être mis en œuvre au sein d'un examen isolé :

• La congruence (alignement pédagogique entre objectifs, activités et évaluation) : quelles tâches cognitives sont visées ? Quel est leur niveau de complexité ?
• La représentativité (échantillon représentatif de chaque apprentissage à évaluer) : quelle répartition des questions au regard de la structuration des apprentissages ? (généralement par chapitre ou par objectif)

(Source : MOSS (1995), cité par LAURIER (2005), Les principes de la mesure et de l'évaluation des apprentissages, Chapitres 4.2 « Validité » et 4.3 « Fidélité », pp. 63-69.)

C'est la proposition la plus simple à mettre en œuvre. Il suffit de recréer dans la banque de questions l'architecture des objectifs d'apprentissages (ou à défaut celle des chapitres du cours).

Unisciel propose un arbre de décision afin de hiérarchiser le niveau de complexité des questions d'un test. Il s’appuie sur la taxonomie de Bloom, et propose quatre niveaux de complexité :

• niveau 1 : mémoriser/connaître
• niveau 2 : transposer/changer de registre
• niveau 3 : appliquer
• niveau 4 : analyser

Les niveaux vont du simple (connaître) au complexe (analyser). L'accession au niveau supérieur nécessite théoriquement de posséder le niveau précédent.

(Source : UNISCIEL, l'université des sciences en ligne (2018). Banque de tests de positionnement - Guide de rédaction des questions d’évaluation (PDF))

Cette méthode est une combinaison des deux méthodes précédentes. On classe alors les questions par complexité à l'intérieur de dossiers correspondant aux objectifs d'apprentissages (ou aux chapitres).

Le niveau de difficulté d'une question est potentiellement variable en fonction de plusieurs paramètres :

• le moment où est donnée la question par rapport au temps de l'apprentissage (avant, au début, en cours, à la fin, longtemps après) ;
• les méthodes pédagogiques employées (un point de cours sur lequel on insiste devient potentiellement plus facile) ;
• la perception individuelle que chaque apprenant a de la question.

Le niveau de difficulté s'appréciera plutôt à postériori d'une évaluation par l’analyse statistique des résultats obtenus en sachant que

• d'une part, ces résultats ne valent que pour le groupe qui a passé l'examen puisque d'une année à l'autre, les paramètres évoluent (en particulier : les dates d'examens, des ajustements de pédagogie, la composition du groupe classe) ;
• d'autre part, nous ne savons pas si un étudiant qui a coché la réponse attendue l'a fait, parce qu'il savait la réponse, parce qu'il a relevé des indices qui l'on mené à cette réponse ou s'il a tout simplement choisi au hasard.

Mesurer avec plus de précision le niveau de difficulté d'une question nécessiterait de s'intéresser de plus près à la perception que les apprenants ont de la question. L'usage des degrés de certitude est une réponse possible proposée par Olivier Prospéri (2012) dans cette optique.

Source : Prospéri (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés. URL : https://core.ac.uk/download/pdf/43661963.pdf