Test de concordance de script (TCS)

Pour les ENCi (Épreuves Nationales Classantes informatisées), la plateforme SIDES offre un environnement complet avec des outils spécifiques facilitant le développement des TCS. Hors ENCi, les plateformes Moodle vous permettent tout de même de pouvoir réaliser des TCS comme décrit dans la suite de cette page.

Principe

“Le TCS explore le raisonnement clinique en situation d’incertitude. Il permet d’enrichir de façon complémentaire l’évaluation des apprentissages, en tant que moyen d’approche du raisonnement face à des problèmes mal définis. Le TCS ne remplace donc pas d’autres modes d’évaluation traditionnels comme, par exemple, le questionnaire à choix multiple (QCM) qui explore les connaissances liées à des problèmes cliniques bien définis.” (Giet et al, 2013, p4). Le TCS peut être utilisé dans une démarche certificative comme dans une démarche formative (Charlin et al, 2002). “Dans une démarche formative, l’utilisation de boîtiers de vote [ou d'outil de rétroaction en cours comme Wooclap] peut s’avérer intéressante pour visualiser immédiatement les choix exprimés par l’auditoire. Le débat peut ensuite être ouvert une fois que ceux-ci sont confrontés à l’avis des experts.” (Giet et al. 2013, p.5).

Le TCS est un outil d'évaluation (d'où le terme “test”).

Les réponses des étudiants sont comparées à celles d'un panel d'expert (d'où le terme “concordance”).

La réponse aux questions posées nécessite la mobilisation d'un réseau de connaissance préalablement acquis (d'où le terme “script” issu des sciences cognitives). “La théorie des scripts postule que les individus traitent les données liées à une situation complexe à résoudre en activant des réseaux de connaissance acquis, organisés pour la résolution de tâches : les scripts.).” (HAS, 2017)

“Les TCS utilisent des vignettes courtes (qui décrivent des situations cliniques posant problème et choisies en fonction du raisonnement que l’on veut évaluer chez le participant) […] Ces vignettes sont suivies par des propositions d’options ou d’hypothèses possibles. Pour chacune d’elles, une nouvelle information est alors proposée, et les professionnels doivent décider si elle augmente, diminue ou est sans conséquence sur la pertinence de cette option. Les réponses sont recueillies selon une échelle de Likert (de - 2 à + 2 par exemple). Les questions posées peuvent être du domaine diagnostique, pronostique ou thérapeutique. L’idée est de placer le professionnel devant une situation complexe, la plus proche possible de son activité réelle” (HAS, 2017, p.1). L'échelle de Likert peut aussi avoir des échelons allant de « beaucoup moins probable » à « beaucoup plus probable » ou encore de « la moins appropriée » à « la plus appropriée ». (Giet et al, 2013, p2).

Mise en œuvre dans Moodle (hors SIDES)

Intégration des questions

Dans un espace de cours dédié, entrer dans la plateforme les questions en suivant les recommandations des tutoriels : Créer et gérer une banque de questions

Le TCS peut se décomposer en deux parties :

un énoncé (description) et une première partie de réponse sur une échelle de Likert pour laquelle vous pouvez utiliser la question à choix multiples "à réponse unique" (QRU) ;

une seconde partie de réponse de type rédactionnelle (justification, explications, etc.) pour laquelle vous pouvez utiliser la question de type "Composition".

Si vous utilisez la même vignette clinique pour demander plusieurs positionnements, vous pouvez alors décrire la vignette à l'aide d'une question de type "Description". Celle-ci sert uniquement à informer mais n'exige pas de réponse.

Recueil des réponses du panel

“Quand toutes les questions ont été relues et validées par les enseignants, elles sont soumises au panel d’experts.” (Giet et al. (2013), p.8)

Pour cela, plusieurs manières de procéder :

si tous les experts ont un compte numérique unicaen, créer un test, ajouter vos questions, inscrire les membres du panel comme étudiant à l'espace de cours et les inviter à réaliser le test qui s'y trouve.

si tous les expert ne peuvent pas avoir de compte numérique, éditer un dossier de questions et une grille papier de réponse de type QCM avec l'outil "test hors-ligne".

Traitement des réponses du panel

Visualisation

Vous pouvez vous aider des rapports statistiques des tests de Moodle pour visualiser les résultats aux échelles de Likert : Consulter les résultats et ajuster la correction des questions fermées (QCM, vrai-faux, appariement, numérique...)

Pour la partie rédactionnelle, vous pouvez visualiser les réponses triées questions par questions grâce à l'outil de correction des questions "compositions".

Analyse

Au terme de cette phase [de recueil des réponses du panel], en fonction des résultats enregistrés, certaines questions pour lesquelles les réponses d’experts divergent totalement peuvent être éliminées. Selon Charlin et al (2006), il s’agit vraisemblablement de questions mal construites. Elles sont donc à reformuler ou à éliminer.

“Si tous les membres du panel donnent la même réponse, la question devient proche d’une question à choix multiple[6] . Il ne faut pas systématiquement éliminer ce type de questions. Il faut cependant veiller à ne pas multiplier leur nombre dans un TCS.” (Giet et al. 2013, p.8).

Transformation en sujet pour les étudiants

Une fois les TCS sélectionnés, il faut maintenant les mettre à disposition des étudiants. Plusieurs options de présentation sont possibles :

dossier linéaire (avec ou sans retour en arrière possible) > activé test

Avantage 1 : vous pouvez dupliquer les questions des étapes précédentes facilement pour les préparer pour les étudiants

Avantage 2 : les statistiques sont très détaillées

Avantage 3 : le correction des questions ouvertes courtes (QROC) est puissante car l'interface facilite l’intégration de différentes réponses possibles

Avantage 4 : la correction des questions ouvertes longues (QROL correspondant au format de question dit “composition”) est facilitée par l'interface

dossier conditionnel (avec des questions qui s'ajustent en fonction des réponses) > activité “Branching scenario” de H5P

Avantage : permet de créer des parcours individualisés permettant de simuler un raisonnement plus complet que dans des questions isolées

Inconvénient : les questions créées dans l'activité test ne sont pas transférables dans l'outil H5P

Notation des propositions de solutions

Selon Giet et al. (2013). p.8 :

“Il n’y a pas qu’une seule réponse correcte à une question de TCS. C’est là l’intérêt de ce type d’évaluation. […] Chaque réponse d’expert est prise en compte et l’étudiant est crédité de points s’il se positionne comme l’a fait au moins un des experts. Ce mode de correction du TCS reflète la capacité de l’étudiant à faire face à une situation courante dans laquelle il existe un certain degré d’incertitude, en formulant des hypothèses et en évaluant l’impact de nouvelles données sur le statut de ces hypothèses. Une autre méthode de correction consiste à pondérer la réponse de l’étudiant en fonction de la distance qui le sépare de la réponse modale. Un étudiant qui est proche de la réponse modale sera plus crédité qu’un étudiant qui est plus éloigné de la réponse modale.

[…]

Classiquement, un point complet est attribué à l’étudiant qui choisit l’option prise par la majorité des experts (par exemple, les experts se sont répartis comme suit : 7 experts choisissent la proposition –1 et 4 experts choisissent la réponse –2. L’étudiant qui choisit comme 7 experts (la majorité) recueillent 7/7 point soit 1 point. Un étudiant qui choisit l’option –2 comme 4 experts recueillent 4/7 point soit 0,57 point.

On pourrait imaginer n’attribuer que des points partiels aux étudiants, proportionnellement à la répartition des experts c'est-à-dire qu’il serait envisageable d’attribuer 0,64 point à un étudiant qui a répondu comme 7 experts sur 11 et 0,36 point pour un étudiant qui a répondu comme 4 des experts sur 11. Ce barème pourrait être appliqué s’il est bien annoncé préalablement aux étudiants.”

Bibliographie

Charlin et al (2002). Le test de concordance de script, un instrument d’évaluation du raisonnement clinique. Pédagogie médicale. [En ligne]

Charlin et al (2006). Le test de concordance comme outil d’évaluation en ligne du raisonnement des professionnels en situation d’incertitude. Revue internationale des technologies en pédagogie universitaire. [En ligne]

Giet et al. (2013). Le test de concordance de script en 20 questions. Pédagogie médicale. [En ligne]

Haute Autorité de la Santé (2017). Test de concordance de script (TCS) [En ligne]

Heurtel, Charlin et Deschênes (2020). Développer le raisonnement professionnel avec Wooclap : le questionnement par concordance. (55min57). [En ligne]

Liard (2020). Le Test de Concordance de Script. Pourquoi ? Comment ? Expérience Rouen-Caen. Conférence de préparation facultaire aux ECN. [En ligne, 8min51]

Sibert L., & d'Ivernois J.-F.. (2015). ECNi, épreuve TCS : test de concordance de script : le guide méthodologique. Maloine. [Livre]

Sibert (2020). Le test de concordance de script. Pourquoi ? Comment ? Rouen. Séminaire du groupe pédagogique de la conférence des Doyens. [En ligne, 15min41]