| Les deux révisions précédentes
Révision précédente
Prochaine révision
|
Révision précédente
|
moodle:test:banque_questions:categorisation [08/04/2020 15:42]
lecrosnierm [Classer les questions par objectifs d’apprentissage (ou par chapitres)] |
moodle:test:banque_questions:categorisation [22/01/2024 09:23] (Version actuelle)
dumontj01 ↷ Page déplacée de moodle4_nouveautes:moodle:test:banque_questions:categorisation à moodle:test:banque_questions:categorisation |
| ====== Catégoriser les questions pour améliorer la validité d'une épreuve ====== | ====== Comment classer les questions pour améliorer la validité d'une épreuve ====== |
| |
| La catégorisation des questions permet d'améliorer la **validité** d'une épreuve au niveau de son contenu. | La catégorisation des questions permet d'améliorer la **validité** d'une épreuve au niveau de son contenu, de faciliter la réutilisation des questions dans différents contexte et leur partage. |
| |
| Deux niveaux de preuves par le contenu peuvent être mis en œuvre au sein d'un examen isolé : | Deux niveaux de preuves par le contenu peuvent être mis en œuvre au sein d'un examen isolé : |
| (Source : MOSS (1995), cité par LAURIER (2005), //Les principes de la mesure et de l'évaluation des apprentissages//, Chapitres 4.2 « Validité » et 4.3 « Fidélité », pp. 63-69.) | (Source : MOSS (1995), cité par LAURIER (2005), //Les principes de la mesure et de l'évaluation des apprentissages//, Chapitres 4.2 « Validité » et 4.3 « Fidélité », pp. 63-69.) |
| |
| =====Classer par objectifs d’apprentissage (ou chapitres)====== | =====Classer par objectif d’apprentissage====== |
| |
| C'est la proposition la plus simple à mettre en œuvre. Il suffit de recréer dans la banque de questions l'architecture des objectifs d'apprentissages (ou à défaut celle des chapitres du cours). | C'est la proposition la plus simple à mettre en œuvre. Il suffit de recréer dans la banque de questions l'architecture des objectifs d'apprentissages (ou à défaut celle des chapitres du cours). |
| <note tip>Cette méthode de classement permet de valider //a priori// la **représentativité**.</note> | <note tip>Cette méthode de classement permet de valider //a priori// la **représentativité**.</note> |
| |
| =====Classer les questions par niveaux de complexité===== | =====Classer par niveau de complexité===== |
| |
| Outil proposé : arbre de décision d'Unisciel pour hiérarchiser le niveau de complexité des questions | [[http://www.unisciel.fr/|Unisciel]] propose un arbre de décision afin de hiérarchiser le niveau de complexité des questions d'un test. Il s’appuie sur la [[https://fr.wikipedia.org/wiki/Taxonomie_de_Bloom|taxonomie de Bloom]], et propose quatre niveaux de complexité : |
| |
| Unisciel propose un arbre de décision permettant aux rédacteurs de catégoriser leurs questions selon un niveau de complexité. Cet arbre s’appuie sur la taxonomie de Bloom, et propose quatre niveaux de complexité imbriqués. Ils ont hiérarchisé quatre niveaux : | * **niveau 1** : mémoriser/connaître |
| | * **niveau 2** : transposer/changer de registre |
| * niveau 1 : mémoriser/connaître ; | * **niveau 3** : appliquer |
| * niveau 2 : transposer/changer de registre ; | * **niveau 4** : analyser |
| * niveau 3 : appliquer ; | |
| * niveau 4 : analyser. | |
| |
| Les niveaux vont du simple (connaître) au complexe (analyser). L'accession au niveau supérieur nécessite théoriquement de posséder le niveau précédent. | Les niveaux vont du simple (connaître) au complexe (analyser). L'accession au niveau supérieur nécessite théoriquement de posséder le niveau précédent. |
| {{ :moodle:test:banque_questions:unisciel_arbre_decisionnel.png?nolink |}} | {{ :moodle:test:banque_questions:unisciel_arbre_decisionnel.png?nolink |}} |
| |
| <note tip>Cette méthode de classement permet de valider //à priori// la **congruence**.</note> | <note tip>Cette méthode de classement permet de valider //a priori// la **congruence**.</note> |
| | |
| | (Source : UNISCIEL, l'université des sciences en ligne (2018). [[http://unisciel.fr/wp-content/uploads/2017/11/GuideRedactionQCM2018.pdf|Banque de tests de positionnement - Guide de rédaction des questions d’évaluation (PDF)]]) |
| | |
| | =====Combiner classement par objectif et par niveau de complexité===== |
| |
| (Source : UNISCIEL, l'université des sciences en ligne (2018). Banque de tests de positionnement - Guide de rédaction des questions d’évaluation. URL : [[http://unisciel.fr/wp-content/uploads/2017/11/GuideRedactionQCM2018.pdf]]) | Cette méthode est une combinaison des deux méthodes précédentes. On classe alors les questions par complexité à l'intérieur de dossiers correspondant aux objectifs d'apprentissages (ou à défaut aux chapitres). |
| |
| =====Classer les questions par objectifs (ou par chapitre) et par complexité===== | <note tip>Cette méthode permet de valider //a priori// la **représentativité** et la **congruence**.</note> |
| |
| Cette méthode est une combinaison des deux méthodes précédentes. On classe alors les questions par complexité à l'intérieur de dossiers correspondant aux objectifs d'apprentissages (ou aux chapitres). | =====Vous envisagez un tirage aléatoire des questions ?===== |
| |
| <note tip>Cette méthode permet de valider //à priori// la **représentativité** et la **congruence**.</note> | Lors d'un tirage aléatoire, la plateforme tire au hasard le nombre de questions choisies dans la catégorie pointée. Cependant, la note de la question que vous avez indiquée lors de sa conception n'est pas conservée. Toutes les notes sont ramenées à 1. |
| |
| | <note tip>En cas d'intention de tirage aléatoire et dans l'optique de ne pas léser certains étudiants, nous vous recommandons à l'intérieur de chaque catégorie de créer des questions de valeurs (ou poids) équivalente.</note> |
| =====Pourquoi ne pas classer les questions par niveau de difficulté ?===== | =====Pourquoi ne pas classer les questions par niveau de difficulté ?===== |
| |
| Le niveau de difficulté d'une question est potentiellement variable en fonction de plusieurs paramètres : | Le niveau de difficulté d'une question est potentiellement variable en fonction de plusieurs paramètres : |
| * le moment où est donnée la question par rapport au temps de l'apprentissage (avant, au début, en cours, à la fin, longtemps après) ; | * À quel moment de l'apprentissage intervient la question ? (avant, au début, en cours, à la fin, longtemps après) |
| * les méthodes pédagogiques employées (un point de cours sur lequel on insiste devient potentiellement plus facile) ; | * Quelles méthodes pédagogiques ont été employées ? (un point de cours sur lequel on insiste devient potentiellement plus facile) |
| * la perception individuelle que chaque apprenant a de la question. | * Quelle perception individuelle chaque apprenant a de la question ? |
| |
| Le niveau de difficulté s'appréciera plutôt //à postériori// d'une évaluation par l’analyse statistique des résultats obtenus en sachant que | Le niveau de difficulté s'appréciera plutôt //a posteriori// d'une évaluation par l’analyse statistique des résultats obtenus. |
| * d'une part, ces résultats ne valent que pour le groupe qui a passé l'examen puisque d'une année à l'autre, les paramètres évoluent (en particulier : les dates d'examens, des ajustements de pédagogie, la composition du groupe classe) ; | Attention : |
| * d'autre part, nous ne savons pas si un étudiant qui a coché la réponse attendue l'a fait, parce qu'il savait la réponse, parce qu'il a relevé des indices qui l'on mené à cette réponse ou s'il a tout simplement choisi au hasard. | * ces résultats ne valent que pour le groupe qui a passé l'examen : d'une année à l'autre, les paramètres évoluent (dates d'examens, ajustements de pédagogie, composition du groupe classe, etc.) ; |
| | * nous ne savons pas si un étudiant qui a coché la réponse attendue l'a fait parce qu'il savait la réponse, parce qu'il a relevé des indices qui l'ont mené à cette réponse ou s'il a tout simplement choisi au hasard. |
| |
| Mesurer avec plus de précision le niveau de difficulté d'une question nécessiterait de s'intéresser de plus près à la perception que les apprenants ont de la question. L'usage des degrés de certitude est une réponse possible proposée par Olivier Prospéri (2012) dans cette optique. | Mesurer avec plus de précision le niveau de difficulté d'une question nécessiterait de s'intéresser de plus près à la perception que les apprenants ont de la question. L'usage des degrés de certitude est une réponse possible proposée par Olivier Prospéri (2012) dans cette optique. |
| |
| Source : Prospéri (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés. URL : [[https://core.ac.uk/download/pdf/43661963.pdf]] | (Source : Prospéri (2012). [[https://core.ac.uk/download/pdf/43661963.pdf|Développement d’un indice de difficulté subjective pour la calibration de tests standardisés]]) |
| |
| |