Ceci est une ancienne révision du document !
Test de concordance de script (TCS)
Principe
“Le TCS explore le raisonnement clinique en situation d’incertitude. Il permet d’enrichir de façon complémentaire l’évaluation des apprentissages, en tant que moyen d’approche du raisonnement face à des problèmes mal définis. Le TCS ne remplace donc pas d’autres modes d’évaluation traditionnels comme, par exemple, le questionnaire à choix multiple (QCM) qui explore les connaissances liées à des problèmes cliniques bien définis.” (Giet et al, 2013, p4). Le TCS peut être utilisé dans une démarche certificative comme dans une démarche formative (Charlin et al, 2002). “Dans une démarche formative, l’utilisation de boîtiers de vote [ou d'outil de rétroaction en cours comme Wooclap] peut s’avérer intéressante pour visualiser immédiatement les choix exprimés par l’auditoire. Le débat peut ensuite être ouvert une fois que ceux-ci sont confrontés à l’avis des experts.” (Giet et al. 2013, p.5).
- Le TCS est un outil d'évaluation (d'où le terme “test”).
- Les réponses des étudiants sont comparées à celles d'un panel d'expert (d'où le terme “concordance”).
- La réponse aux questions posées nécessite la mobilisation d'un réseau de connaissance préalablement acquis (d'où le terme “script” issu des sciences cognitives). “La théorie des scripts postule que les individus traitent les données liées à une situation complexe à résoudre en activant des réseaux de connaissance acquis, organisés pour la résolution de tâches : les scripts.).” (HAS, 2017)
“Les TCS utilisent des vignettes courtes (qui décrivent des situations cliniques posant problème et choisies en fonction du raisonnement que l’on veut évaluer chez le participant) […] Ces vignettes sont suivies par des propositions d’options ou d’hypothèses possibles. Pour chacune d’elles, une nouvelle information est alors proposée, et les professionnels doivent décider si elle augmente, diminue ou est sans conséquence sur la pertinence de cette option. Les réponses sont recueillies selon une échelle de Likert (de - 2 à + 2 par exemple). Les questions posées peuvent être du domaine diagnostique, pronostique ou thérapeutique. L’idée est de placer le professionnel devant une situation complexe, la plus proche possible de son activité réelle” (HAS, 2017, p.1). L'échelle de Likert peut aussi avoir des échelons allant de « beaucoup moins probable » à « beaucoup plus probable » ou encore de « la moins appropriée » à « la plus appropriée ». (Giet et al, 2013, p2).
Mise en œuvre dans Moodle (hors SIDES)
Intégration des questions
Dans un espace de cours dédié, entrer dans la plateforme les questions en suivant les recommandations des tutoriels : Créer et gérer une banque de questions
Le TCS peut se décomposer en deux parties :
- un énoncé (description) et une première partie de réponse sur une échelle de Likert pour laquelle vous pouvez utiliser la question à choix multiples "à réponse unique" (QRU) ;
- une seconde partie de réponse de type rédactionnelle (justification, explications, etc.) pour laquelle vous pouvez utiliser la question de type "Composition".
Recueil des réponses du panel
“Quand toutes les questions ont été relues et validées par les enseignants, elles sont soumises au panel d’experts.” (Giet et al. (2013), p.8)
Pour cela, plusieurs manières de procéder :
- si tous les experts ont un compte numérique unicaen, créer un test, ajouter vos questions, inscrire les membres du panel comme étudiant à l'espace de cours et les inviter à réaliser le test qui s'y trouve.
- si tous les expert ne peuvent pas avoir de compte numérique, éditer un dossier de questions et une grille papier de réponse de type QCM avec l'outil "test hors-ligne".
Traitement des réponses du panel
Visualisation
Vous pouvez vous aider des rapports statistiques des tests de Moodle pour visualiser les résultats aux échelles de Likert : Consulter les résultats et ajuster la correction des questions fermées (QCM, vrai-faux, appariement, numérique...)
Pour la partie rédactionnelle, vous pouvez visualiser les réponses triées questions par questions grâce à l'outil de correction des questions "compositions".
Analyse
Au terme de cette phase [de recueil des réponses du panel], en fonction des résultats enregistrés, certaines questions pour lesquelles les réponses d’experts divergent totalement peuvent être éliminées. Selon Charlin et al (2006), il s’agit vraisemblablement de questions mal construites. Elles sont donc à reformuler ou à éliminer.
“Si tous les membres du panel donnent la même réponse, la question devient proche d’une question à choix multiple[6] . Il ne faut pas systématiquement éliminer ce type de questions. Il faut cependant veiller à ne pas multiplier leur nombre dans un TCS.” (Giet et al. 2013, p.8).
Notation des propositions de solutions
Selon Giet et al. (2013). p.8 :
“Il n’y a pas qu’une seule réponse correcte à une question de TCS. C’est là l’intérêt de ce type d’évaluation. […] Chaque réponse d’expert est prise en compte et l’étudiant est crédité de points s’il se positionne comme l’a fait au moins un des experts. Ce mode de correction du TCS reflète la capacité de l’étudiant à faire face à une situation courante dans laquelle il existe un certain degré d’incertitude, en formulant des hypothèses et en évaluant l’impact de nouvelles données sur le statut de ces hypothèses. Une autre méthode de correction consiste à pondérer la réponse de l’étudiant en fonction de la distance qui le sépare de la réponse modale. Un étudiant qui est proche de la réponse modale sera plus crédité qu’un étudiant qui est plus éloigné de la réponse modale.
[…]
Classiquement, un point complet est attribué à l’étudiant qui choisit l’option prise par la majorité des experts (par exemple, les experts se sont répartis comme suit : 7 experts choisissent la proposition –1 et 4 experts choisissent la réponse –2. L’étudiant qui choisit comme 7 experts (la majorité) recueillent 7/7 point soit 1 point. Un étudiant qui choisit l’option –2 comme 4 experts recueillent 4/7 point soit 0,57 point. On pourrait imaginer n’attribuer que des points partiels aux étudiants, proportionnellement à la répartition des experts c'est-à-dire qu’il serait envisageable d’attribuer 0,64 point à un étudiant qui a répondu comme 7 experts sur 11 et 0,36 point pour un étudiant qui a répondu comme 4 des experts sur 11. Ce barème pourrait être appliqué s’il est bien annoncé préalablement aux étudiants.”