Una pregunta no es difícil porque esté redactada de forma densa
Las etiquetas de dificultad asignadas al momento de escribir son solo conjeturas, y esas conjeturas fallan en un aspecto. Si se puso esfuerzo en redactar una pregunta, le parecerá difícil a quien la escribió, sin importar qué le pide al estudiante.
La dificultad real viene de la demanda cognitiva, como el recuerdo, la aplicación y el análisis, y de cuánta información un estudiante tiene que retener a la vez. Las oraciones densas aumentan la carga de lectura, y esa carga suele ser coincidental.
Un examen también tiene una forma. Todas las preguntas marcadas como medias pueden examinar la misma habilidad al mismo nivel, mientras tres de los temas del temario quedan sin examinar. Cómo se distribuyen los temas importa tanto como la distribución entre niveles.
El agent contrasta el trabajo con sus propias declaraciones y sugiere enmiendas con los motivos. El agent no prepara exámenes para estudiantes por su cuenta. El examinador decide qué examen usar.
Cómo se construye el agent en Agent Studio
Los prompt skills determinan cómo se tratan los ítems: tus definiciones de nivel, tu taxonomía de temas y la distribución que tu departamento exige para un examen de un peso dado.
Los prompt skills también incluyen exámenes anteriores con las respuestas corregidas después, porque ese es el único registro fiable de las preguntas que tu grupo de verdad encontró difíciles.
El system prompt establece que cada recategorización debe justificarse por lo que la pregunta le pide a un estudiante, y que la demanda cognitiva debe separarse de la carga de lectura.
El system prompt prohíbe datos de desempeño ligados a estudiantes identificables. La calibración se apoya solo en características del ítem y en agregados omitidos.
El flujo de calibración lee las preguntas de Airtable o Google Sheets y las pasa al nodo Agent Chat junto con los temas del temario.
El nodo Math calcula la distribución entre temas y niveles, para que un desequilibrio se exprese como un número, no como una impresión. Create Excel genera el examen revisado.
Un nodo Email del grupo Human in the Loop envía el conjunto al examinador. Los bancos de preguntas se actualizan solo después de la aprobación.
De qué está hecho este agent
- Prompt skills: definiciones de nivel, taxonomía de temas y distribución esperada según el peso del examen.
- Prompt skills: exámenes anteriores con sus etiquetas corregidas a posteriori.
- System prompt: la recategorización se argumenta desde lo que pide la pregunta. La carga de lectura se separa de la demanda.
- System prompt: ningún dato de desempeño de estudiantes identificables entra a la calibración.
- Airtable (Integration): sostiene el banco de preguntas que el agent lee y al que propone cambios.
- Math (Util) con Create Excel (Data): la distribución como número, luego el examen revisado.
- Cuando un ActionFlow basta: Si el trabajo es contar ítems por tema y por nivel declarado, construye el flujo de trabajo. Ese conteo expone los desequilibrios más toscos.
Preguntas frecuentes
Empieza a crear flujos de IA
Crea una cuenta gratuita, abre una plantilla o un lienzo en blanco y ejecuta tu primer ActionFlow.
Boletín
Recibe actualizaciones del producto
Nodos nuevos, agents y notas de producto. Solo enviamos correo cuando merece la pena abrirlo.