Eine Frage ist nicht schwer, weil sie dicht formuliert ist
Schwierigkeitskennzeichen, die beim Schreiben vergeben werden, sind nur Schätzungen, und diese Schätzungen sind in einer Hinsicht falsch. Wenn in eine Frage Arbeit geflossen ist, wirkt sie der Person, die sie geschrieben hat, schwer, unabhängig davon, was die Frage von den Studierenden verlangt.
Echte Schwierigkeit kommt von kognitiver Anforderung, etwa Abruf, Anwendung und Analyse, und davon, wie viel Information eine Studentin oder ein Student gleichzeitig im Kopf halten muss. Dichte Sätze erhöhen die Leselast, und diese Last ist in der Regel zufällig.
Eine Klausur hat außerdem eine Form. Alle als mittel markierten Fragen können dieselbe Fähigkeit auf derselben Stufe prüfen, während drei Themen des Lehrplans ungeprüft bleiben. Wie Themen verteilt sind, ist genauso wichtig wie die Verteilung über Stufen.
Der Agent prüft die Arbeit gegen ihre eigenen Ansprüche und schlägt Änderungen mit Begründung vor. Der Agent bereitet Klausuren für Studierende nicht selbst vor. Die prüfende Person entscheidet, welche Klausur verwendet wird.
So bauen Sie den Agent in Agent Studio auf
Prompt-Fähigkeiten bestimmen den Umgang mit Items: Ihre Stufendefinitionen, Ihre Thementaxonomie und die Verteilung, die Ihr Fachbereich für eine Klausur mit gegebenem Gewicht verlangt.
Prompt-Fähigkeiten enthalten außerdem frühere Klausuren mit nachträglich korrigierten Antworten, weil das der einzige verlässliche Beleg dafür ist, welche Fragen Ihre Gruppe tatsächlich schwierig fand.
Der System-Prompt legt fest, dass jede Umkennzeichnung durch das begründet sein muss, was die Frage von einer Studentin oder einem Studenten verlangt, und dass kognitive Anforderung von Leselast getrennt werden soll.
Der System-Prompt verbietet Leistungsdaten, die identifizierbaren Studierenden zugeordnet sind. Die Kalibrierung stützt sich nur auf Itemmerkmale und unterdrückte Aggregate.
Der Kalibrierungs-Flow liest Fragen aus Airtable oder Google Sheets und übergibt sie zusammen mit den Lehrplanthemen an den Agent Chat-Knoten.
Der Math-Knoten berechnet die Verteilung über Themen und Stufen, damit ein Ungleichgewicht als Zahl erscheint, nicht als Eindruck. Create Excel erzeugt die geprüfte Klausur.
Ein Email-Knoten in der Human in the Loop-Gruppe sendet den Satz an die prüfende Person. Fragenbanken werden erst nach Freigabe aktualisiert.
Woraus dieser Agent besteht
- Prompt-Fähigkeiten: Stufendefinitionen, Thementaxonomie und erwartete Verteilung nach Klausurgewicht.
- Prompt-Fähigkeiten: frühere Klausuren mit nachträglich korrigierten Kennzeichen.
- System-Prompt: Umkennzeichnung aus dem begründet, was die Frage verlangt. Leselast wird von Anforderung getrennt.
- System-Prompt: keine identifizierbaren studentischen Leistungsdaten gehen in die Kalibrierung ein.
- Airtable (Integration): hält die Fragenbank, die der Agent liest und zu der er Änderungen vorschlägt.
- Math (Util) with Create Excel (Data): die Verteilung als Zahl, dann die geprüfte Klausur.
- Wenn ein ActionFlow ausreicht: Wenn die Arbeit darin besteht, Items je Thema und je erklärter Stufe zu zählen, bauen Sie den Workflow. Diese Zählung legt die gröbsten Ungleichgewichte offen.
Häufige Fragen
Newsletter
Produktupdates erhalten
Neue Nodes, Agents und Produktnotizen. Wir senden E-Mails nur, wenn sich das Öffnen lohnt.