Organiser un "Test" en mode examen à distance

Cette page a pour but de vous proposer une procédure vous permettant de mettre en place une épreuve avec corrections automatiques à distance. Il s'agit de proposer aux étudiants une épreuve sur un temps donné sous forme d'un test en ligne sur Moodle. Le test en ligne peut être mis en place pour valider une UE.

Pour atteindre ou améliorer la validité d'un dispositif d’évaluation, quelques règles issues de la docimologie (science des examens et des concours) ont été développées ici dans le but d'aider les personnes en situation d'enseignement à réaliser des évaluations.

C'est dans ce cadre que nous vous proposons un cycle de construction et gestion qualité de tests composé de huit étapes servant de guide pour l'élaboration d'une évaluation (Adaptation du cycle qualité de l’université de Liège). Ce cycle s’appuie méthodologiquement sur le modèle de conception pédagogique “ADDIE” :

• Analyse (étape 1) ;
• Design ou conception (étape 2) ;
• Développement ou production (étape 3) ;
• Implémentation (étapes 4 à 7) ;
• Évaluation ou régulation (étape 8).

Cette étape permet de :

• déterminer si une évaluation par test est adaptée ;
• poser le cadre de l’évaluation ;
• s'assurer que toutes les conditions matérielles sont réunies.

Avantages et inconvénients :

• ressemblance avec des QCM sur table ;
• simple pour les étudiants ;
• temps de correction court ;
• temps de préparation important.

Pour valider le choix de l'outil, se reporter à la documentation : Quels outils pour chaque type d'évaluation ?

Afin de garantir les qualités docimologiques de l’évaluation, nous vous proposons de construire une table de spécification. C'est un tableau à double entrée comprenant :

• d'une part, les points à évaluer (PE), c'est-à-dire les objectifs d'apprentissages spécifiques et détaillés du cours ou à défaut les points de matière qui ont été abordés dans le cours et qui pourraient être évalués ;
• d'autre part, les catégories de performances (CP) en lien avec les diverses taxonomies (la plus connue étant la taxonomie des apprentissages de type cognitifs de Bloom).

Ce tableau permet d'avoir une vision d'ensemble des éléments à évaluer et d'attribuer des priorités. Nous vous recommandons dans ce tableau de directement affecter les points correspondants à chaque croisement de point à évaluer et catégorie de performance. Si vous réalisez ce tableau dans un tableur, il sera aisé par des formules d'addition de vérifier que le total des points affectés est égal à 20.

Exemple :

Pour en savoir plus, se reporter à la documentation : Comment classer les questions pour améliorer la validité d'une épreuve

Cette étape a pour objectif de vérifier que tous les étudiants sont en mesure de réaliser l'épreuve à distance et de trouver des moyens de substitution pour ceux qui sont en difficultés.

En cas de difficulté de connexion au domicile, explorer les différentes possibilités :

• aller se connecter chez un ami ;
• aller dans un site universitaire normand pour bénéficier d'un ordinateur institutionnel ;
• aller dans un site partenaire ;
• aller dans un campus connecté.

Si aucune connexion n'est disponible, il y a quasiment toujours possibilité d'organiser un épreuve adaptée (par exemple : envoi de l'épreuve adaptée par service postal).

Cette étape permet de choisir les modalités de questionnement que l'on souhaite utiliser. Celles-ci sont définies à partir des points évalués (PE) et des catégories de performances (CP) définies à l'étape précédente, dite d'analyse.

Pour vous aider dans le choix des questions, nous vous recommandons de consulter la documentation : Choisir des formats d'items adaptés aux objectifs d'évaluation.

Une fois déterminées, vous pouvez compléter le tableau de spécification précédent avec les modalités de questionnement liées aux objectifs d'apprentissages. Nous vous recommandons de répartir les points affectés précédemment par type de question directement dans le tableau comme dans l'exemple ci-dessous :

Ce tableau peut être un support de communication efficace avec les étudiants tant pour les informer du contenu de l'épreuve que pour construire la remédiation. Cette table constitue un gage de qualité, en tout cas en termes de validité de contenu et de process.

Se reporter à la documentation : Choisir une méthode de cotation (ou "scoring").

• Convocation entre 15 et 20 minutes avant le début de l’épreuve officielle pour le temps d’installation et de passage de l'éventuel test d’entraînement.
• Préciser aux étudiants qu’ils doivent faire l'épreuve avec leurs codes d’accès à la plateforme Moodle. Préciser qu’ils ne peuvent en aucun cas utiliser le code d’accès d’un autre étudiant du fait que les résultats sur la plateforme sont nominatifs pour permettre la validité de l’épreuve.
• Demander aux étudiants de tester leurs identifiants quelques jours avant pour s’assurer du bon fonctionnement (notamment en prévention des mots de passe oubliés et des difficultés liées à l’environnement informatique).

Maintenant que les éléments à évaluer, le format et le nombre de questions sont déterminés, le processus de construction des questions va pouvoir débuter.

Si les questions fermées des tests sont souvent qualifiées de questions à correction objective, il ne faut pas oublier que l'essentiel de la subjectivité se situe dans la rédaction des questions et des propositions. Trois actions participant à la validité de l'épreuve a priori sont recommandées :

• le classement des questions en catégories ;
• l'utilisation de règles de rédaction des questions à choix multiples ;
• la relecture ou validation par au moins un autre expert de la discipline (SANS DONNER LES RÉPONSES).

L'épreuve sera intégrée dans un espace de cours (sur Ecampus ou Collégium Santé) dans lequel quelques réglages spécifiques sont nécessaires.

Pour la création des questions, se reporter à la documentation : Créer et gérer une banque de questions.

S’équiper d’un kit épreuve récupérable en suivant le mode d’emploi fourni dans l’espace dédié sur chaque plateforme :

• pour Ecampus : https://ecampus.unicaen.fr/course/view.php?id=35246 ;
• pour Collégium Santé : https://collegium-sante-univ-normandie.fr/moodle/course/view.php?id=26536.

Le kit « Test » contient :

• une étiquette de consignes ;
• un sondage (pour l’émargement des étudiants) ;
• une activité « Test » que je paramètre et dans laquelle je saisis mes questions dans la banque de questions (Attention, cette partie peut prendre du temps) ;
• un etherpad pour échanger avec les étudiants pendant l’épreuve.

• Aller dans les “Paramètres” du cours :

• Ouvrir le volet “Apparence” :

• Sélectionner ne pas afficher le carnet de notes aux étudiants :

• Aller ensuite dans “Participants”, vérifier la liste des inscrits et notamment si un étudiant n’a pas un rôle autre que celui d’étudiant :

• Cliquer ensuite sur “Méthodes d'inscription” :

• Vérifier que l’auto-inscription est désactivée (la ligne doit être grisée avec le petit œil barré, sinon cliquer dessus pour désactiver). Ainsi, on verrouille toute possibilité d’inscription dans l’espace de cours.

• Ouvrir le test du kit :

• Cliquer sur le rouage d'administration, puis sur “Paramètres” :

• Personnaliser le “Nom” de l'épreuve :

• Dans “Description”, indiquer les consignes :

• Dans “Temps”, indiquer :
  • la date et l'heure d'“Ouverture” ;
  • la date et l'heure de “Fermeture” ;
  • le “Temps disponible” (chronomètre).

• Cliquer sur “Enregistrer et afficher” :

• Si besoin, se reporter aux documentations :
  • Configurer une majoration de temps (ex : quart et tiers temps) ;
  • Configurer la disponibilité d'un test multi-sessions (évaluation par groupes à des moments différents).

* Vérifier les paramétrages de test à l'aide de :continuite_pedagogique_-_check-list_-_test.pdf

• Se reporter à la documentation : Configurer un tirage aléatoire.
• Si besoin, se reporter à la documentation : Concevoir un test à déroulement progressif. L'étudiant est ainsi obligé de répondre et de valider sa réponse à une question avant de pouvoir avoir accès à la question suivante. Il pourra revoir les précédentes questions et ses réponses mais sans pouvoir les modifier. Associée à un tirage aléatoire, cette modalité limite grandement les possibilités de triche.

Comme tout examen, les modalités sont décidées par l'équipe pédagogique et sont diffusées aux étudiants ( voir BO - http://www.education.gouv.fr/botexte/bo000309/MENS0000500C.htm).

Il est de rigueur de proposer aux étudiants une épreuve d'entraînement, aussi appelée épreuve blanche ou épreuve formative afin de :

• se familiariser avec l'outil et la procédure d’évaluation ;
• permettre une révision avant l'épreuve réelle.

A minima, leur communiquer les consignes de l'épreuve :

• date, horaire et durée de l’épreuve (en cas d'effectif important, préciser la répartition des groupes) ;
• types de question : choix multiples, vrai-faux, réponse courte… ;
• possibilité ou non de traiter les questions dans n’importe quel ordre avec retour en arrière possible ;
• possibilité ou non de modifier les réponse au cours de l’épreuve ;
• présence ou non de points négatifs dans cette épreuve ;
• alerter en cas de télésurveillance (service disponible uniquement sur Ecampus).

Il est bien de rappeler aux étudiants que comme tout test en ligne, il y aura :

• un enregistrement automatiquement à chaque changement de page ;
• la présence d’un chronomètre de décompte du temps qui s’affiche pour chaque étudiant ;
• une indication visible du nombre de points attribués à chaque question ;
• la possibilité de marquer une questions pour pouvoir la retrouver plus facilement ;
• à la fin de l’épreuve, obligation de cliquer sur “Tout envoyer et terminer” (c'est l'équivalent présentiel de la remise de la copie).

Ne pas hésiter à leur recommander d'aller s'entraîner dans l’espace dédié à la préparation des examens à distance :

• pour Ecampus : https://ecampus.unicaen.fr/course/view.php?id=35155 ;
• pour Collégium Santé : https://foad2.unicaen.fr/moodle/course/view.php?id=26537.

Ces espaces mettent à disposition des conseils pour se mettre en condition d’examen chez soi. Ils pourront notamment tester les quiz, les dépôts de devoir, l’accès à la webconférence, et auront accès à des tutoriels pour, par exemple, transformer un document en PDF.

• Être présent en ligne 15 min avant et durant toute la durée de l’épreuve.
• Répondre aux questions éventuelles des étudiants à travers l’etherpad (ou autre outil de communication).
• S'assurer de la présence d'un ingénieur pédagogique à vos côtés tout au long de l’épreuve.
• Si un étudiant rencontre un problème technique, l’inciter à vous transmettre une copie d’écran.

• Télécharger en format Excel la liste des participants à partir de l’activité sondage et l’envoyer par mail à la scolarité ou au secrétariat.

Une relecture pour vérifier que l'épreuve s'est bien passée est indispensable.

• Consulter les résultats et ajuster la correction des questions fermées (QCM, vrai-faux, appariement, numérique...)
• Consulter les résultats et ajuster la correction des questions à réponses courtes (QROC)
• Corriger une question de type composition

• Télécharger les résultats au format Excel du “Test”. Voir la documentation : Télécharger les résultats d'un "Test".
• Transmettre les notes sur SNW à la scolarité (ECampus) ou au secrétariat (Collégium Santé).

• Aller dans les “Paramètres” du cours :

• Ouvrir le volet “Apparence” :

• Sélectionner “Oui” pour afficher le carnet de notes aux étudiants :

• Se reporter à la documentation : Restituer les copies d’examen aux étudiants avec "Test".

• Se reporter à la documentation : Archiver les copies d'examen d'un "Test".

Recueil d'informations auprès des étudiants dans l'optique d'améliorer le processus de construction et d'organisation du test.