Une question n'est pas difficile parce qu'elle est rédigée de façon dense
Les libellés de difficulté attribués au moment de l'écriture ne sont que des estimations, et ces estimations se trompent sur un point. Si l'on a mis de l'effort à rédiger une question, elle paraîtra difficile à celui qui l'a écrite, quoi que la question demande à l'étudiant de faire.
La vraie difficulté vient de la demande cognitive, comme le rappel, l'application et l'analyse, et de la quantité d'information qu'un étudiant doit tenir à l'esprit en même temps. Les phrases denses augmentent la charge de lecture, et cette charge est en général fortuite.
Un sujet a aussi une forme. Toutes les questions marquées comme moyennes peuvent examiner la même compétence au même niveau, tandis que trois des thèmes du syllabus restent non examinés. La répartition des thèmes compte autant que la répartition des niveaux.
L'agent vérifie le travail contre ses propres prétentions et propose des amendements avec les raisons. L'agent ne prépare pas de sujets pour les étudiants tout seul. L'examinateur décide quel sujet utiliser.
Comment l'agent est construit dans Agent Studio
Les prompt skills déterminent le traitement des items : vos définitions de niveaux, votre taxonomie de thèmes, et la répartition que votre département exige pour un sujet d'un poids donné.
Les prompt skills comprennent aussi des sujets antérieurs dont les réponses ont été corrigées après coup, parce que c'est le seul enregistrement fiable des questions que votre groupe a réellement trouvées difficiles.
Le prompt système indique que chaque changement de libellé doit se justifier par ce que la question demande à un étudiant, et que la demande cognitive doit être séparée de la charge de lecture.
Le prompt système interdit les données de performance liées à des étudiants identifiables. La calibration s'appuie seulement sur les caractéristiques des items et sur des agrégats masqués.
Le flux de calibration lit les questions depuis Airtable ou Google Sheets et les transmet au nœud Agent Chat avec les thèmes du syllabus.
Le nœud Math calcule la répartition par thèmes et par niveaux, pour qu'un déséquilibre s'exprime comme un nombre plutôt que comme une impression. Create Excel produit le sujet relu.
Un nœud Email du groupe Human in the Loop envoie le jeu à l'examinateur. Les banques de questions ne sont mises à jour qu'après approbation.
De quoi cet agent est constitué
- Prompt skills : définitions de niveaux, taxonomie de thèmes, et répartition attendue selon le poids du sujet.
- Prompt skills : sujets antérieurs dont les libellés ont été corrigés après coup.
- System prompt : changement de libellé argumenté à partir de ce que la question demande. La charge de lecture est séparée de la demande.
- System prompt : aucune donnée de performance d'étudiant identifiable n'entre dans la calibration.
- Airtable (Integration) : tient la banque de questions que l'agent lit et dont il propose des modifications.
- Math (Util) avec Create Excel (Data) : la répartition comme nombre, puis le sujet relu.
- Quand un ActionFlow suffit : Si le travail consiste à compter les items par thème et par niveau déclaré, construisez le flux de travail. Ce décompte révèle les déséquilibres les plus grossiers.
Questions fréquentes
Newsletter
Recevoir les mises à jour produit
Nouveaux nœuds, agents et notes produit. Nous n'envoyons un e-mail que lorsqu'il vaut la peine de l'ouvrir.