| Les deux révisions précédentes
Révision précédente
Prochaine révision
|
Révision précédente
|
moodle:test:tcs [31/03/2022 15:18]
dumontj01 [Mise en œuvre dans Moodle (hors Sides)] |
moodle:test:tcs [01/04/2025 11:43] (Version actuelle)
gallotj [Recueil des réponses du panel] |
| ======Test de concordance de script (TCS)====== | ======Test de concordance de script (TCS)====== |
| |
| <note warning>Pour les ENCi, la plateforme SIDES offre un environnement complet avec des outils spécifiques facilitant le développement des TCS. Hors ENCi, les plateformes Moodle vous permettent tout de même de pouvoir réaliser des TCS comme décrit dans la suite de cette page.</note> | <note warning>Pour les ENCi (Épreuves Nationales Classantes informatisées), la plateforme SIDES offre un environnement complet avec des outils spécifiques facilitant le développement des TCS. Hors ENCi, les plateformes Moodle vous permettent tout de même de pouvoir réaliser des TCS comme décrit dans la suite de cette page.</note> |
| |
| =====Principe===== | =====Principe===== |
| * La réponse aux questions posées nécessite la mobilisation d'un **réseau de connaissance** préalablement acquis (d'où le terme "script" issu des sciences cognitives). "La théorie des scripts postule que les individus traitent les données liées à une situation complexe à résoudre en activant des réseaux de connaissance acquis, organisés pour la résolution de tâches : les scripts.)." (HAS, 2017) | * La réponse aux questions posées nécessite la mobilisation d'un **réseau de connaissance** préalablement acquis (d'où le terme "script" issu des sciences cognitives). "La théorie des scripts postule que les individus traitent les données liées à une situation complexe à résoudre en activant des réseaux de connaissance acquis, organisés pour la résolution de tâches : les scripts.)." (HAS, 2017) |
| |
| "Les TCS utilisent des **vignettes courtes** (qui décrivent des situations cliniques posant problème et choisies en fonction du raisonnement que l’on veut évaluer chez le participant) [...] Ces vignettes sont suivies par des propositions d’options ou d’hypothèses possibles. Pour chacune d’elles, une **nouvelle information** est alors proposée, et les professionnels doivent décider si elle augmente, diminue ou est sans conséquence sur la pertinence de cette option. Les réponses sont recueillies selon une **échelle de Likert** (de - 2 à + 2 par exemple). Les questions posées peuvent être du domaine diagnostique, pronostique ou thérapeutique. L’idée est de placer le professionnel devant une situation complexe, la plus proche possible de son activité réelle" (HAS, 2017, p.1). L'échelle de Likert peut aussi avoir des échelons allant de « beaucoup moins probable » à « beaucoup plus probable »[3] ou encore de « la moins appropriée » à « la plus appropriée ». (Giet et al, 2013, p2). | "Les TCS utilisent des **vignettes courtes** (qui décrivent des situations cliniques posant problème et choisies en fonction du raisonnement que l’on veut évaluer chez le participant) [...] Ces vignettes sont suivies par des propositions d’options ou d’hypothèses possibles. Pour chacune d’elles, une **nouvelle information** est alors proposée, et les professionnels doivent décider si elle augmente, diminue ou est sans conséquence sur la pertinence de cette option. Les réponses sont recueillies selon une **échelle de Likert** (de - 2 à + 2 par exemple). Les questions posées peuvent être du domaine diagnostique, pronostique ou thérapeutique. L’idée est de placer le professionnel devant une **situation complexe, la plus proche possible de son activité réelle**" (HAS, 2017, p.1). L'échelle de Likert peut aussi avoir des échelons allant de « beaucoup moins probable » à « beaucoup plus probable » ou encore de « la moins appropriée » à « la plus appropriée ». (Giet et al, 2013, p2). |
| |
| =====Mise en œuvre dans Moodle (hors SIDES)===== | =====Mise en œuvre dans Moodle (hors SIDES)===== |
| |
| * si tous les experts ont un compte numérique unicaen, [[moodle:test:creer_un_test|créer un test]], ajouter vos questions, inscrire les membres du panel comme étudiant à l'espace de cours et les inviter à réaliser le test qui s'y trouve. | * si tous les experts ont un compte numérique unicaen, [[moodle:test:creer_un_test|créer un test]], ajouter vos questions, inscrire les membres du panel comme étudiant à l'espace de cours et les inviter à réaliser le test qui s'y trouve. |
| * si tous les expert ne peuvent pas avoir de compte numérique, éditer un dossier de questions et une grille papier de réponse de type QCM avec l'outil [[moodle:test:test_hors_ligne|"test hors-ligne"]]. | * si tous les expert ne peuvent pas avoir de compte numérique, éditer un dossier de questions et une grille papier de réponse de type QCM avec l'outil [[moodle:test:test_hors_ligne|"QCM Papier"]]. |
| |
| |
| ====Traitement des réponses du panel==== | ====Traitement des réponses du panel==== |
| | |
| | ==Visualisation== |
| | Vous pouvez vous aider des rapports statistiques des tests de Moodle pour visualiser les résultats aux échelles de Likert : [[moodle:test:consultation_ajustement_corrections_questions_fermees|Consulter les résultats et ajuster la correction des questions fermées (QCM, vrai-faux, appariement, numérique...)]] |
| | |
| | Pour la partie rédactionnelle, vous pouvez visualiser les réponses triées questions par questions grâce à l'outil de [[moodle:test:composition_correction|correction des questions "compositions"]]. |
| | |
| | ==Analyse== |
| |
| Au terme de cette phase [de recueil des réponses du panel], en fonction des résultats enregistrés, certaines questions pour lesquelles les réponses d’experts divergent totalement peuvent être éliminées. Selon Charlin et al (2006), il s’agit vraisemblablement de questions mal construites. Elles sont donc à reformuler ou à éliminer. | Au terme de cette phase [de recueil des réponses du panel], en fonction des résultats enregistrés, certaines questions pour lesquelles les réponses d’experts divergent totalement peuvent être éliminées. Selon Charlin et al (2006), il s’agit vraisemblablement de questions mal construites. Elles sont donc à reformuler ou à éliminer. |
| |
| Vous pouvez vous aider des rapports statistiques des tests de Moodle pour visualiser les résultats : [[moodle:test:consultation_ajustement_corrections_questions_fermees|Consulter les résultats et ajuster la correction des questions fermées (QCM, vrai-faux, appariement, numérique...)]] | "Si tous les membres du panel donnent la même réponse, la question devient proche d’une question à choix multiple[6] . Il ne faut pas systématiquement éliminer ce type de questions. Il faut cependant veiller à ne pas multiplier leur nombre dans un TCS." (Giet et al. 2013, p.8). |
| |
| Pour la partie rédactionnelle, vous pouvez visualiser les réponses triées par question grâce à l'outil de [[moodle:test:composition_correction|correction des questions "compositions" (question par question)]]. | ====Transformation en sujet pour les étudiants==== |
| |
| <note tip>"Si tous les membres du panel donnent la même réponse, la question devient proche d’une question à choix multiple[6] . Il ne faut pas systématiquement éliminer ce type de questions. Il faut cependant veiller à ne pas multiplier leur nombre dans un TCS." (Giet et al. 2013, p.8).</note> | Une fois les TCS sélectionnés, il faut maintenant les mettre à disposition des étudiants. Plusieurs options de présentation sont possibles : |
| ====Notation des réponses ==== | |
| | * dossier linéaire (avec ou sans retour en arrière possible) > activé [[moodle:test:creer_un_test|test]] |
| | * Avantage 1 : vous pouvez dupliquer les questions des étapes précédentes facilement pour les préparer pour les étudiants |
| | * Avantage 2 : les [[moodle:test:consultation_ajustement_corrections_questions_fermees|statistiques]] sont très détaillées |
| | * Avantage 3 : le correction des questions ouvertes courtes ([[moodle:test:choix_questions:qroc|QROC]]) est puissante car l'interface facilite l’intégration de différentes réponses possibles |
| | * Avantage 4 : la correction des questions ouvertes longues (QROL correspondant au format de question dit "[[moodle:test:choix_questions:composition|composition]]") est facilitée par l'interface |
| | * dossier conditionnel (avec des questions qui s'ajustent en fonction des réponses) > activité "Branching scenario" de [[:h5p|H5P]] |
| | * Avantage : permet de créer des parcours individualisés permettant de simuler un raisonnement plus complet que dans des questions isolées |
| | * Inconvénient : les questions créées dans l'activité test ne sont pas transférables dans l'outil H5P |
| | |
| | ====Notation des propositions de solutions==== |
| |
| Selon Giet et al. (2013). p.8 : | Selon Giet et al. (2013). p.8 : |
| |
| "Il n’y a pas qu’une seule réponse correcte à une question de TCS. C’est là l’intérêt de ce type d’évaluation. [...] Chaque réponse d’expert est prise en compte et l’étudiant est crédité de points s’il se positionne comme l’a fait au moins un des experts. Ce mode de correction du TCS reflète la capacité de l’étudiant à faire face à une situation courante dans laquelle il existe un certain degré d’incertitude, en formulant des hypothèses et en évaluant l’impact de nouvelles données sur le statut de ces hypothèses [1]. Une autre méthode de correction consiste à pondérer la réponse de l’étudiant en fonction de la distance qui le sépare de la réponse modale. Un étudiant qui est proche de la réponse modale sera plus crédité qu’un étudiant qui est plus éloigné de la réponse modale[10]. | "Il n’y a pas qu’une seule réponse correcte à une question de TCS. C’est là l’intérêt de ce type d’évaluation. [...] Chaque réponse d’expert est prise en compte et l’étudiant est crédité de points s’il se positionne comme l’a fait au moins un des experts. Ce mode de correction du TCS reflète la capacité de l’étudiant à faire face à une situation courante dans laquelle il existe un certain degré d’incertitude, en formulant des hypothèses et en évaluant l’impact de nouvelles données sur le statut de ces hypothèses. Une autre méthode de correction consiste à pondérer la réponse de l’étudiant en fonction de la distance qui le sépare de la réponse modale. Un étudiant qui est proche de la réponse modale sera plus crédité qu’un étudiant qui est plus éloigné de la réponse modale. |
| [...] | [...] |
| Classiquement, un point complet est attribué à l’étudiant qui choisit l’option prise par la majorité des experts (par exemple, les experts se sont répartis comme | |
| suit : 7 experts choisissent la proposition –1 et 4 experts choisissent la réponse –2. L’étudiant qui choisit comme 7 experts (la majorité) recueillent 7/7 point | Classiquement, un point complet est attribué à l’étudiant qui choisit l’option prise par la majorité des experts (par exemple, les experts se sont répartis comme suit : 7 experts choisissent la proposition –1 et 4 experts choisissent la réponse –2. L’étudiant qui choisit comme 7 experts (la majorité) recueillent 7/7 point soit 1 point. Un étudiant qui choisit l’option –2 comme 4 experts recueillent 4/7 point soit 0,57 point. |
| soit 1 point. Un étudiant qui choisit l’option –2 comme 4 experts recueillent 4/7 point soit 0,57 point. | |
| On pourrait imaginer n’attribuer que des points partiels aux étudiants, proportionnellement à la répartition des experts c'est-à-dire qu’il serait envisageable | On pourrait imaginer n’attribuer que des points partiels aux étudiants, proportionnellement à la répartition des experts c'est-à-dire qu’il serait envisageable d’attribuer 0,64 point à un étudiant qui a répondu comme 7 experts sur 11 et 0,36 point pour un étudiant qui a répondu comme 4 des experts sur 11. Ce barème pourrait être appliqué s’il est bien annoncé préalablement aux étudiants." |
| d’attribuer 0,64 point à un étudiant qui a répondu comme 7 experts sur 11 et 0,36 point pour un étudiant qui a répondu comme 4 des experts sur 11. Ce barème | |
| pourrait être appliqué s’il est bien annoncé préalablement aux étudiants." | |
| |
| |
| =====Sources===== | =====Bibliographie===== |
| |
| [[https://www.pedagogie-medicale.org/articles/pmed/abs/2002/03/pmed20023p135/pmed20023p135.html|Charlin et al (2002). Le test de concordance de script, un instrument d’évaluation du raisonnement clinique. Pédagogie médicale. [En ligne]]] | [[https://www.pedagogie-medicale.org/articles/pmed/abs/2002/03/pmed20023p135/pmed20023p135.html|Charlin et al (2002). Le test de concordance de script, un instrument d’évaluation du raisonnement clinique. Pédagogie médicale. [En ligne]]] |