Fragen, die sich nicht auf das Material zurückführen lassen, sind die, über die Studierende sich beschweren
Prüfungsfragen zu schreiben, ist langsam, nicht weil das Erfinden der Fragen Zeit braucht, sondern weil Sie sicherstellen müssen, dass jede Frage aus dem tatsächlich Gelehrten beantwortbar ist und auf einem Schwierigkeitsgrad sitzt, der zum aktuellen Stand der Studierenden passt.
Von einem Modell erzeugte Fragen gehen leicht über den Rahmen des Materials hinaus. Ein Modell, das das Fach kennt, fragt bereitwillig etwas, das in den Vorlesungen nie vorkam, und das fällt erst auf, wenn die Klausur stattfindet.
Das zweite Problem ist Schwierigkeit. Wird eine Mischung verlangt, liefert die Erzeugung vor allem Abruffragen, weil die am leichtesten vorzubereiten sind. Eine Klausur aus Abruffragen prüft Gedächtnis statt Verständnis.
Rückverfolgbarkeit adressiert beides. Jedes Item enthält die Quelle, aus der es gezogen wurde, und seinen genannten Schwierigkeitsgrad, damit die Lehrkraft am Satz auf einen Blick sieht, wie gut das Material abgedeckt und wie es ausbalanciert ist, statt 40 Fragen lesen zu müssen.
So läuft der ActionFlow auf der Canvas
Kursmaterial kommt über einen Document Upload-Knoten. Der PDF4me-Knoten extrahiert dann die Folien oder Lesetexte, die als PDF vorliegen.
Der Extract-Data-Knoten trennt das Material nach Thema, deshalb können Sie Abdeckung prüfen, statt sie anzunehmen.
Der Loop-Knoten geht die Themen durch. Innerhalb der Schleife erzeugt ein Generate Object-Knoten Items je Thema nach einer Schwierigkeitsverteilung, die Sie festlegen: Abruf, Anwendung und Analyse. Zu jedem Item gibt er die Quellpassage und die Stufe zurück.
Die Designentscheidung ist, Thema für Thema zu erzeugen statt über das gesamte Material, das hält die Abdeckung fest. Läuft das System als eine einzige Erzeugung über alles Material, konzentriert es sich auf das, was es am interessantesten fand.
Der Math-Knoten zählt Items nach Thema und Stufe. Der Filter-Knoten erkennt unterrepräsentierte Themen, damit die Lehrkraft die Lücke sieht, bevor der Satz verwendet wird.
Ein Validate-Knoten weist jedes Item zurück, dessen Quellpassage die Antwort nicht enthält. Diese Prüfung fängt Drift außerhalb des Materials.
Ein Merge-Knoten setzt den Satz zusammen. Ein Create Excel-Knoten erzeugt die Fragenbank mit ihren Metadaten. Ein Notion-Knoten speichert die Lernkarten.
Der Human in the Loop-Knoten sendet das gesamte Material an die Lehrkraft. Nichts geht über den Flow an Studierende.
Knoten, die dieser ActionFlow verwendet
- Document Upload (Data) plus PDF4me (Data): extrahieren das Kursmaterial.
- Extract Data (Data): teilt nach Thema, damit Abdeckung gemessen werden kann.
- Loop (Control): erzeugt je Thema, nicht über alles auf einmal.
- Generate Object (AI Core): gibt Items mit Quellpassage und Schwierigkeitsgrad zurück.
- Validate (Data): weist Items zurück, deren Quellpassage die Antwort nicht enthält.
- Math (Util) plus Filter (Data): nach Thema und Stufe zählen und unterrepräsentierte Themen markieren.
- Create Excel (Data): erzeugt die Fragenbank mit ihren Metadaten.
- Slack (Human in the Loop): leitet den Satz an die Lehrkraft. Nichts erreicht Studierende automatisch.
Häufige Fragen
Newsletter
Produktupdates erhalten
Neue Nodes, Agents und Produktnotizen. Wir senden E-Mails nur, wenn sich das Öffnen lohnt.