Une amélioration après une formation n'est pas une amélioration due à la formation
Une mesure fiable d'une cohorte avant et après le cours montre qu'elle s'est améliorée. La cause de cette amélioration est rarement le cours seul. Les performances des étudiants s'améliorent sur un semestre pour des raisons sans rapport avec toute intervention. Quand aucun groupe de comparaison n'est disponible, on attribue tout le crédit au cours.
Si l'on regarde l'avant et l'après honnêtement, on cherche d'autres changements, comme une évaluation différente, un autre groupe de personnes, ou un changement de qui a choisi l'option. On l'énonce lorsque l'étude ne peut pas distinguer l'effet du bruit.
Quand un groupe de comparaison est disponible, la question est de savoir s'il était comparable. C'est un jugement sur la façon dont les groupes ont été sélectionnés, pas un calcul.
L'agent ne rapporte que ce que les données étayent et, le plus souvent, ce qu'elles n'étayent pas. L'agent n'énonce rien sur l'efficacité d'une conception que les données ne peuvent pas étayer, et n'inclut aucune information sur un étudiant particulier. Les agrégats sous la taille de groupe que vous avez déclarée sont masqués. La décision finale sur le programme reste aux personnes responsables.
Comment l'agent est construit dans Agent Studio
Les prompt skills contiennent les définitions de base : les résultats que votre institution considère acceptables, le groupe de comparaison, et la plus petite taille de groupe en dessous de laquelle aucun résultat n'est rapporté.
Le prompt système indique que la conception doit être fournie avant les résultats, que ce qui est comparé à quoi doit être nommé, et que les facteurs de confusion visibles dans les données fournies doivent être nommés.
Le prompt système interdit le langage causal lorsque la conception ne l'étaye pas. Un avant-après sans contrôle est désigné comme un changement dans le temps, pas comme un effet de la formation.
Le prompt système permet aussi de traiter des preuves insuffisantes comme un constat, parce que c'est le type de résultat que la plupart de ces questions produisent honnêtement.
Un flux Start Scheduled lit les données d'évaluation et d'achèvement via un nœud HTTP Request. Un nœud Math calcule les agrégats avant que le nœud Agent Chat ne les interprète.
Les identifiants sont retirés dans le processus, pour que l'agent ne travaille qu'avec les chiffres de groupe. Un nœud Filter rejette tout groupe sous la taille indiquée.
Les chiffres sont stockés dans Google Sheets. L'enregistrement écrit est tenu dans Google Docs. Un nœud Human in the Loop se place entre l'équipe programme et la décision sur le cours.
De quoi cet agent est constitué
- Prompt skills : mesures de résultats acceptées, ce qui compte comme groupe de comparaison, et taille minimale de groupe.
- System prompt : conception énoncée avant les résultats. Facteurs de confusion visibles nommés.
- System prompt : pas de langage causal là où la conception ne l'étaye pas.
- System prompt : preuves insuffisantes rapportées comme un constat.
- Math (Util) avec Filter (Data) : agrégats calculés et petits groupes masqués avant que l'agent ne lise.
- Agent Chat (Util) : ne lit que les chiffres de groupe. Les identifiants sont retirés dans le flux.
- Quand un ActionFlow suffit : Si aucune affirmation causale n'est portée, produire des chiffres d'avant et d'après avec les tailles de groupe jointes est un flux de travail valable, et c'est le bon résultat.
Questions fréquentes
Newsletter
Recevoir les mises à jour produit
Nouveaux nœuds, agents et notes produit. Nous n'envoyons un e-mail que lorsqu'il vaut la peine de l'ouvrir.