Mejorar después de la capacitación no es mejorar por la capacitación
Una medición fiable de una cohorte antes y después del curso muestra que mejoraron. La causa de esa mejora rara vez es el curso solo. El desempeño de los estudiantes mejora a lo largo de un semestre por motivos sin relación con ninguna intervención. Cuando no hay grupo de comparación, le das todo el crédito al curso.
Si miras el antes y el después con honestidad, buscas otros cambios, como una evaluación distinta, un grupo distinto de personas o un cambio en quién eligió la opción. Lo declaras cuando el estudio no puede distinguir el efecto del ruido.
Cuando hay un grupo de comparación, la cuestión es si era comparable. Eso es un juicio sobre cómo se seleccionaron los grupos, no un cálculo.
El agent reporta solo lo que los datos sostienen y, en la mayoría de los casos, lo que los datos no sostienen. El agent no hace ninguna afirmación sobre la efectividad de un diseño que los datos no pueden sostener, y no incluye ninguna información sobre ningún estudiante concreto. Los agregados por debajo del tamaño de grupo que declaraste se omiten. La decisión final sobre el programa se queda con las personas a cargo.
Cómo se construye el agent en Agent Studio
Los prompt skills contienen las definiciones básicas: los resultados que tu institución considera aceptables, el grupo de comparación y el tamaño de grupo más pequeño por debajo del cual no se reportan resultados.
El system prompt establece que el diseño debe entregarse antes que los resultados, que debe nombrarse qué se compara con qué, y que deben nombrarse los factores de confusión visibles en los datos entregados.
El system prompt prohíbe el lenguaje causal cuando el diseño no lo sostiene. Un antes y después sin control se refiere como un cambio en el tiempo, no como un efecto de la capacitación.
El system prompt también permite tratar la evidencia insuficiente como un hallazgo, porque ese es el tipo de salida que la mayoría de estas preguntas rinden con honestidad.
Un flujo Start Scheduled lee datos de evaluación y de finalización con un nodo HTTP Request. Un nodo Math calcula los agregados antes de que el nodo Agent Chat los interprete.
Los identificadores se quitan en el proceso, así que el agent trabaja solo con las cifras de grupo. Un nodo Filter rechaza cualquier grupo por debajo del tamaño enunciado.
Las cifras se guardan en Google Sheets. El registro escrito se guarda en Google Docs. Un nodo Human in the Loop queda entre el equipo del programa y la decisión sobre el curso.
De qué está hecho este agent
- Prompt skills: medidas de resultado aceptadas, qué cuenta como grupo de comparación y tamaño mínimo de grupo.
- System prompt: el diseño se enuncia antes que los resultados. Se nombran los factores de confusión visibles.
- System prompt: sin lenguaje causal donde el diseño no lo sostiene.
- System prompt: la evidencia insuficiente se reporta como hallazgo.
- Math (Util) con Filter (Data): se calculan agregados y se omiten grupos pequeños antes de que el agent lea.
- Agent Chat (Util): lee solo cifras de grupo. Los identificadores se quitan en el flujo.
- Cuando un ActionFlow basta: Si no se hace ninguna afirmación causal, producir cifras de antes y después con los tamaños de grupo anexos es un flujo de trabajo válido, y es la salida correcta.
Preguntas frecuentes
Empieza a crear flujos de IA
Crea una cuenta gratuita, abre una plantilla o un lienzo en blanco y ejecuta tu primer ActionFlow.
Boletín
Recibe actualizaciones del producto
Nodos nuevos, agents y notas de producto. Solo enviamos correo cuando merece la pena abrirlo.