Verbesserung nach der Schulung ist nicht Verbesserung durch die Schulung
Eine verlässliche Messung einer Kohorte vor und nach dem Kurs zeigt, dass sie sich verbessert hat. Die Ursache dieser Verbesserung ist selten der Kurs allein. Die Leistung von Studierenden steigt über ein Semester aus Gründen, die mit keiner Intervention zusammenhängen. Fehlt eine Vergleichsgruppe, schreiben Sie dem Kurs den gesamten Verdienst zu.
Wenn Sie Vorher und Nachher ehrlich ansehen, suchen Sie andere Änderungen, etwa eine andere Evaluation, eine andere Personengruppe oder eine Änderung bei der Auswahl. Sie sagen das, wenn die Untersuchung den Effekt vom Rauschen nicht trennen kann.
Wenn eine Vergleichsgruppe vorhanden ist, geht es darum, ob sie vergleichbar war. Das ist ein Urteil über die Auswahl der Gruppen, keine Berechnung.
Der Agent berichtet nur, was die Daten tragen, und in den meisten Fällen, was die Daten nicht tragen. Der Agent trifft keine Aussage zur Wirksamkeit eines Designs, das die Daten nicht tragen, und enthält keine Angaben zu einer konkreten Studentin oder einem konkreten Studenten. Aggregate unter der von Ihnen erklärten Gruppengröße werden unterdrückt. Die endgültige Entscheidung über das Programm bleibt bei den Verantwortlichen.
So bauen Sie den Agent in Agent Studio auf
Prompt-Fähigkeiten enthalten die Grunddefinitionen: die Ergebnisse, die Ihre Einrichtung als akzeptabel betrachtet, die Vergleichsgruppe und die kleinste Gruppengröße, unter der keine Ergebnisse berichtet werden.
Der System-Prompt legt fest, dass das Design vor den Ergebnissen stehen muss, dass genannt werden muss, was womit verglichen wird, und dass die in den gelieferten Daten sichtbaren Störfaktoren benannt werden müssen.
Der System-Prompt verbietet kausale Sprache, wenn das Design sie nicht trägt. Ein unkontrolliertes Vorher-Nachher gilt als Veränderung über die Zeit, nicht als Effekt der Schulung.
Der System-Prompt lässt unzureichenden Beleg als Fund behandeln, weil das die Art von Ausgabe ist, die die meisten dieser Fragen ehrlich liefern.
Ein Start Scheduled-Flow liest Bewertungs- und Abschlussdaten über einen HTTP Request-Knoten. Ein Math-Knoten berechnet die Aggregate, bevor der Agent Chat-Knoten sie deutet.
Kennungen werden im Prozess entfernt, sodass der Agent nur mit den Gruppenzahlen arbeitet. Ein Filter-Knoten weist jede Gruppe unter der genannten Größe zurück.
Zahlen liegen in Google Sheets. Der schriftliche Beleg liegt in Google Docs. Ein Human in the Loop-Knoten sitzt zwischen dem Programmteam und der Entscheidung über den Kurs.
Woraus dieser Agent besteht
- Prompt-Fähigkeiten: akzeptierte Ergebnismessungen, was als Vergleichsgruppe zählt und Mindestgruppengröße.
- System-Prompt: Design vor den Ergebnissen genannt. Sichtbare Störfaktoren benannt.
- System-Prompt: keine kausale Sprache, wo das Design sie nicht trägt.
- System-Prompt: unzureichender Beleg als Fund berichtet.
- Math (Util) with Filter (Data): Aggregate berechnet und kleine Gruppen unterdrückt, bevor der Agent liest.
- Agent Chat (Util): liest nur Gruppenzahlen. Kennungen werden im Flow entfernt.
- Wenn ein ActionFlow ausreicht: Wenn keine kausale Behauptung aufgestellt wird, ist das Erzeugen von Vorher-Nachher-Zahlen mit Gruppengrößen ein gültiger Workflow, und es ist die richtige Ausgabe.
Häufige Fragen
Newsletter
Produktupdates erhalten
Neue Nodes, Agents und Produktnotizen. Wir senden E-Mails nur, wenn sich das Öffnen lohnt.