Organiser un "Test" en mode examen

Cette page a pour but de vous proposer une procédure vous permettant de mettre en place un examen avec corrections automatiques pour des grands groupes en salle informatique (idéalement) ou en BYOD (Bring your own device, c'est-à-dire que les étudiants apportent leur matériel informatique et se connectent à internet via le WIFI). Il s'agit de proposer aux étudiants un examen sous forme d'un test en ligne sur Moodle. Cet examen doit s'effectuer en salle informatique ou dans une salle dotée d'un accès WIFI suffisant, sur un temps donné, dans les conditions d'un examen classique. Le test en ligne en condition d'examen peut être mis en place pour valider une UE.

Pour atteindre ou améliorer la validité d'un dispositif d’évaluation, quelques règles issues de la docimologie (science des examens et des concours), ont été développées ici dans le but d'aider les personnes en situation d'enseignement à réaliser des évaluations.

C'est dans ce cadre que nous vous proposons un cycle de construction et gestion qualité de tests composé de huit étapes servant de guide pour l'élaboration d'une évaluation (Adaptation du cycle qualité de l’université de Liège). Ce cycle s’appuie méthodologiquement sur le modèle de conception pédagogique “ADDIE” :

• Analyse (étape 1)
• Design ou conception (étape 2)
• Développement ou production (étape 3)
• Implémentation (étapes 4 à 7)
• Évaluation (étape 8).

Cette étape permet de :

• déterminer si une évaluation par test est adaptée ;
• poser le cadre de l’évaluation ;
• s'assurer que toutes les conditions matérielles sont réunies.

Se reporter à la documentation : Choisir des formats d'items adaptés

Afin de garantir les qualités docimologiques de l’évaluation, nous vous proposons de construire une table de spécification. C'est un tableau à double entrée comprenant :

• d'une part, les points à évaluer (PE), c'est-à-dire les objectifs d'apprentissages spécifiques et détaillés du cours ou à défaut les points de matière qui ont été abordés dans le cours et qui pourraient être évalués ;
• d'autre part, les catégories de performances (CP) en lien avec les diverses taxonomies (la plus connue étant la taxonomie des apprentissages de type cognitifs de Bloom).

Ce tableau permet d'avoir une vision d'ensemble des éléments à évaluer et d'attribuer des priorités. Nous vous recommandons dans ce tableau de directement affecter les points correspondants à chaque croisement de point à évaluer et catégorie de performance. Si vous réalisez ce tableau dans un tableur, il sera aisé par des formules d'addition de vérifier que le total des points affectés est égal à 20.

Exemple :

Les examens réalisés sur ce mode nécessitent des prérequis. Ces prérequis sont des préalables indispensables avant de faire une demande d'accompagnement au CEMU. Comme tout examen, les modalités sont décidées par l'équipe pédagogique et sont diffusées aux étudiants. ( voir BO - http://www.education.gouv.fr/botexte/bo000309/MENS0000500C.htm).

• la réservation des salles informatiques se fait via le logiciel ADE. Dans chaque composante une personne (secrétariat) est en charge des calendriers et de la réservation des salles. ( voir documentation ADE sur http://www.unicaen.fr/intranet/systeme-d-information/documentation/)
• À noter que le nombre de salles informatiques est limité et qu'il faut réserver suffisamment à l’avance. Sur tous les campus des salles informatiques sont disponibles. Sur ADE, il existe un filtre qui permet de repérer très rapidement les salles informatiques.
• Sur le campus 1, les salles particulièrement adaptées sont :
  • sous-sol du bâtiment D : Neptune, Mercure et Sigma (94 places)
  • bâtiment A : AC 103 et AC 137 (54 places)
  • MLI : LI 229, LI 230, LI 232 (76 places)

Comme tout examen, la présence d'examinateurs est obligatoire. Ils accueillent les étudiants, contrôlent leur identité et leur font signer la feuille d'émargement. Ils dictent les consignes et s'assurent du bon déroulement de l'épreuve.

Dans la plupart des composantes, il existe un correspondant de la DSI qu'il faut avertir pour s’assurer de sa disponibilité, s'assurer qu'il n'y a pas de mise à jour de programmée et vérifier que tous les postes sont en état. En l’absence du correspondant, il faut prévenir par mail le service DSI support (dsi.support@unicaen.fr). Un ticket sera créé et suivi.

Cette étape permet de choisir les modalités de questionnement que l'on souhaite utiliser. Celles-ci sont définies à partir des points évalués (PE) et des catégories de performances (CP) définies à l'étape précédente dite d'analyse.

Pour vous aider dans le choix des questions, nous vous recommandons de consulter la page dédiée à la comparaison des modalités de questionnement (En cours de construction).

Une fois déterminées, vous pouvez compléter le tableau de spécification précédent avec les modalités de questionnement liées avec les objectifs d'apprentissages. Nous vous recommandons de répartir les points affectés précédemment par type de question directement dans le tableau comme dans l'exemple ci-dessous :

Ce tableau peut être un support de communication efficace avec les étudiants tant pour les informer du contenu de l'épreuve que pour construire la remédiation. Cette table constitue un gage de qualité en tout cas en termes de validité de contenu et de process.

Se reporter à la documentation : Choisir une méthode de cotation (ou "scoring")

• Convocation entre 15 et 20 minutes avant le début de l’épreuve officielle pour le temps d’installation et de passage de l'éventuel test d’entrainement.
• Préciser aux étudiants qu’ils doivent venir avec leurs codes d’accès à la plateforme Moodle. Attention, s’ils n’ont pas leurs codes, nous ne pourrons pas les leur fournir ce qui équivaut à l’invalidation de l’épreuve.
• Préciser qu’ils ne peuvent en aucun cas utiliser le code d’accès d’un autre étudiant du fait que les résultats sur la plateforme sont nominatifs pour permettre la validité de l’épreuve.
• Demander aux étudiants de tester leurs identifiants sur les ordinateurs de la salle quelques jours avant pour s’assurer du bon fonctionnement (notamment en prévention des mots de passe oubliés et des difficultés liées à l’environnement informatique différent de celui auquel ils sont habitués sur leur matériel personnel).

• Numéro des salles, dates, nombre d'étudiants par salle, nom des examinateurs présents ;
• Numéros utiles : responsables de l'examen (portables), accompagnateur Moodle (portable), support informatique (réseau et postes).

Maintenant que les éléments à évaluer, le format et le nombre des questions sont déterminés, le processus de construction des questions va pouvoir débuter.

Deux types de contrôles qualité vont pouvoir avoir lieu à priori, c'est-à-dire avant l'épreuve :

• l'utilisation des règles de rédaction ;
• la relecture ou validation par au moins au autre expert de la discipline.

L'examen sera intégrée dans un espace de cours Moodle dans lequel quelques réglages spécifiques sont nécessaires.

• Dans le volet Apparence : Choisir “Non” pour l'option “Afficher le carnet de notes aux étudiants”. Cela vous permettra de ne pas afficher immédiatement leurs notes aux étudiants et ainsi d'avoir le temps de vérifier que l'épreuve s'est bien déroulée avant la diffusion officielle des notes de l'examen.

• Dans le volet Groupes : choisir “groupes séparés” (si plusieurs sessions ou plusieurs cohortes)

• Ne pas activer la méthode auto-inscription (c'est-à-dire que la ligne auto-inscription doit avoir son œil barré)
• Inscrire manuellement les autres enseignants et éventuellement les tuteurs

Par défaut, les groupes de TD et TP sont créés automatiquement dans l'espace de cours. Il est conseillé de les utiliser car ils vont simplifier le travail d'administration (mêmes groupes que ceux définis dans APOGEE).

Si vous ne souhaitez pas utiliser les groupes déjà créés automatiquement :

• Nous vous invitons à consulter le tutoriel Moodle suivant : https://docs.moodle.org/3x/fr/Groupes_d%27utilisateurs
• Recommandation de création : 1 groupe par session (NB : les groupes peuvent être créés automatiquement — par ordre alphabétique par exemple)
• Inscription des étudiants dans les groupes : soit manuellement, soit en fournissant à l'équipe d’administration de la plateforme un fichier tableur formaté comme ci-dessous.

Nous vous recommandons de consulter le tutoriel suivant : Créer un test

Un examen par test en ligne nécessite certains paramétrages spécifiques :

• la Configurer la disponibilité d'un test (évaluation par groupes) (test pour qui et quand ?) ⇐ Important pour les gros effectifs, en groupes
• d'autres paramètres détaillés ci-après.

Dans le volet “Généraux” :

• Titre : indiquez un titre explicite pour les étudiants
• Description : indiquez ici les caractéristiques de l'examen (unité d'enseignement, nombre d'ECTS, date, durée, modalité d’évaluation, note, consignes générales et critères d’évaluation).

Dans le volet “Temps” :

• Lorsque le temps imparti échoit : sélectionner “La tentative en cours est envoyée automatiquement”. Ainsi, les étudiants qui auraient oublié ou qui n'auraient pas eu le temps de cliquer à la fin de l'épreuve sur “Tout envoyer et terminer” n'ont pas de souci à se faire, Moodle effectuera la démarche à leur place une fois le délai impartis expiré.
• Pas de délai supplémentaire

Dans le volet “Note” :

• Donner une note pour passer si nécessaire (la note de l'étudiant s'affichera en rouge dans le carnet de notes si elle est inférieure à la note de passage).
• Une seule tentative au maximum

Dans le volet “Mise en page” :

• Soit vous souhaitez une mise en page automatique, nous vous recommandons de choisir de 2 à 5 questions par page. Moodle enregistre les réponses de l'étudiant à chaque changement de page. Ainsi avoir peu de questions par page garantis à l'étudiant de ne pas perdre trop de contenu en cas de déconnexion intempestive.
• Soit une mise en page manuelle pour laquelle vous devez sélectionner “Jamais, toutes les questions sur une page”. La pagination se ferra alors au moment de l'ajout des questions dans le test.

Dans le volet “Comportement des questions” :

• Choisir “oui” pour la proposition “Mélanger les éléments des questions”
• Choisir “Feedback à postériori” dans “Comment se comportent les questions”

Dans le volet “Options de relecture” :

• décocher toutes les options de relecture cochées par défaut de la dernière case à la première en ne laissant coché que “La tentative” dans “Pendant la tentative”

Dans le volet “Restrictions supplémentaires sur les tentatives” :

• Saisir une clef en cliquant sur le petit crayon : celle-ci sera communiquée aux étudiants en salle d'examen - permet d'éviter qu'un étudiant non présent mais inscrit au cours et au groupe puisse accéder à l'examen de l’extérieur
• Cliquer sur afficher plus et choisir dans “Sécurité du navigateur” : “Nouvelle fenêtre avec un peu de sécurité Javascript” SAUF si les étudiants doivent ouvrir des documents lors de l'examen

Dans le volet “Réglages courants” :

• choisir “Cacher pour les étudiants” pour l'option “Disponibilité”
• Choisir le mode de groupe “Groupes séparés” si ce n'est pas déjà le cas

Dans le volet “Restreindre l'accès” :

En règle générale, les restrictions d'accès permettent de conditionner l'accès à l'activité à partir de critères divers. Pour les tests, ces restrictions peuvent par exemple conditionner l'accès à la réalisation d'autres activités préalables.

Dans le volet “Achèvement d'activité” :

• Dans “suivi d’achèvement”, sélectionnez “Afficher l'activité comme terminée dès que les conditions sont remplies”
• Dans “Note requise”, cochez l'option “Les étudiants doivent recevoir une note pour terminer cette activité”.

Pour la création des questions, reportez vous au tutoriel suivant : Créer et gérer une banque de questions).

Pour insérer les questions :

• aller dans “Administration du test” / “Modifier” ;
• puis cliquer sur “Ajouter” / “+ de la banque de questions” ;
• Choisir la catégorie dans laquelle vous avez stocké les questions du test ;
• Cocher les questions qui vous intéressent ;
• Cliquer sur “Ajouter au test les questions sélectionnées” ;

Pour mélanger les questions du test à chaque nouvelle tentative, cochez l'option “Mélanger”.

Pour ajuster la notation des questions :

• cliquer sur le petit crayon en bout de ligne de la question ;
• écrire la nouvelle cotation de la question (attention, les virgules doivent être écrites avec un point) ;
• taper sur “Entrée” pour valider.

Pour ajuster la notation globale du test :

• Écrire sur combien est noté l'examen dans “note maximale” (traditionnellement 20) ;
• Cliquer sur “Enregistrer”

• Si vous aviez choisi une mise en page manuelle des questions, vous aller pouvoir ajouter un saut de page en cliquant sur le symbole double flèche (voir ci-dessous).
• Si vous souhaitez des titres de sections du test, cliquer sur “ajouter” / “un nouveau titre de section” / petit crayon / écrire le titre souhaité / taper sur entrer pour valider le titre. Pour plus d'information, reportez-vous à la documentation : Chapitrer un test

Duplication du test pouvant être utile dans plusieurs cas :

• vous préférez gérer à part les étudiants qui nécessitent un tiers temps : dans ce cas on modifie les dates et le temps alloué et on restreint l'activité dupliquée aux étudiants concernés.
• vous préférez gérer séparément chaque groupe. Ainsi sur moodle une session = un groupe = un test. Chaque activité dupliquée sera restreinte au groupe concerné.

Il est de rigueur de proposer aux étudiants une épreuve d'entrainement ou épreuve blanche ou épreuve formative afin de :

• se familiariser avec l'outil et la procédure d’évaluation ;
• permettre une révision avant l'épreuve réelle.

A minima, on proposera aux étudiants une activité permettant de tester le bon fonctionnement de leur matériel avant l'épreuve réelle.

• Si vous utilisez une classe mobile, vérifiez le chargement des batteries des ordinateurs (ou le vendredi précédent en prévision du lundi matin).

• Être en présence de la validation sur papier (et prévoir éventuellement le guide de correction).
• Allumer les ordinateurs de la salle ou de la classe mobile. Prévoir un ordinateur supplémentaire allumé pour ne pas perdre de temps en cas de problème technique au démarrage sur un ordinateur étudiant.
• Vérifier l'ouverture de l'espace de cours ( paramètres du cours → visible) et de l'examen.
• Accueil des étudiants - Émargement et vérification d'identité. Répartition dans les salles.
• Demander aux étudiants de se connecter à la plateforme Moodle.
• Consignes orales du déroulement :
  • Annoncer qu’une épreuve d’entraînement constituée de X questions va être réalisée pour que les étudiants vérifient le bon fonctionnement de la plate-forme et s’habituent à la présentation des questions.
  • Rappeler la durée de l’épreuve et informer de la présence d’un chronomètre de décompte pour l’épreuve qui s’affiche sur l’ordinateur de chaque étudiant (5’ pour l’épreuve d'entrainement et X‘ pour l’épreuve réelle).
  • Possibilité de traiter les questions dans n’importe quel ordre avec retour en arrière possible.
  • Possibilité de modifier la réponse au cours de l’épreuve.
  • Possibilité de marquer une questions pour pouvoir la retrouver plus facilement.
  • Les réponses sont enregistrées automatiquement. À la fin de l’épreuve, l’étudiant doit valider l’envoi de ses réponses en cliquant sur le bouton “Tout envoyer et terminer”
  • Le nombre de points attribués à chaque question est visible.
  • Précisez la présence ou non de points négatifs dans cette épreuve.
• Vérifier que tous ont un accès sur leur session. Si accès sur session, l’accès Moodle devrait être OK. À vérifier tout de même systématiquement.
• En cas d’accès impossible sur session (poste de travail); il faut faire vérifier la validité du compte numérique par le support informatique.
• Ouvrir le sujet d’entraînement en le rendant visible pour les étudiants (œil ouvert/non barré) si les dates d'ouverture et de fermeture n'avaient pas été paramétrées et inviter les étudiants à le réaliser sans trop d’application car il n’est pas noté.
• Repréciser que la durée de l’épreuve est de X min.
• Ouvrir le sujet de validation en le rendant visible pour les étudiants (œil ouvert/non barré) si les dates d'ouverture et de fermeture n'avaient pas été paramétrées.
• Lancer l’épreuve.

Une relecture pour vérifier que l'épreuve s'est bien passée est indispensable.

• Consulter les résultats et ajuster la correction des questions fermées (QCM, vrai-faux, appariement, numérique...)
• Consulter les résultats et ajuster la correction des questions à réponses courtes (QROC)
• Corriger une question de type composition
• Jury

• Sélectionner la réponse “oui” dans “Administration du cours” / “Paramètres” / “Apparence” / “Afficher le carnet de note aux étudiants”

• Pour plus d'information, se reporter à la documentation : Carnet de note

• Se reporter à la documentation : Restituer les copies d’examen aux étudiants avec "Test"

Se reporter à la documentation : Télécharger les résultats d'un "Test"

• Se reporter à la documentation : Archiver les copies d'examen d'un "Test"

Recueil d'informations auprès des étudiants dans l'optique d'améliorer le processus de construction du test.