Bir soru, sıkı yazıldığı için zor değildir
Yazım anında verilen zorluk etiketleri yalnızca tahmindir ve o tahminler bir bakımdan yanlıştır. Bir soruyu yazmaya emek gittiyse, öğrenciden ne isterse istesin, yazana zor görünecektir.
Gerçek zorluk bilişsel talepten gelir: anımsama, uygulama ve çözümleme; bir de öğrencinin aynı anda akılda tutması gereken bilgi miktarından. Sıkı cümleler okuma yükünü artırır ve bu yük genellikle tesadüfidir.
Bir kâğıdın da bir biçimi vardır. Orta diye işaretlenen tüm sorular aynı beceriyi aynı düzeyde yoklayabilir; izlencedeki üç konu ise yoklanmadan kalır. Konuların dağılımı, düzeyler arası dağılım kadar önemlidir.
Agent çalışmayı kendi iddialarına göre kontrol eder ve gerekçeleriyle düzeltmeler önerir. Öğrenciler için kendi başına kâğıt hazırlamaz. Hangi kâğıdın kullanılacağına sınav sorumlusu karar verir.
Agent Studio'da bu agent nasıl kurulur
Prompt skills maddelerin nasıl ele alındığını belirler: düzey tanımlarınız, konu taksonominiz ve bölümünüzün belirli ağırlıktaki bir kâğıt için istediği dağılım.
Prompt skills ayrıca sonradan yanıtları düzeltilmiş geçmiş kâğıtları içerir. Grubunuzun gerçekten zor bulduğu soruların tek güvenilir kaydı budur.
Sistem prompt'u her yeniden etiketlemenin sorunun öğrenciden ne istediğiyle gerekçelenmesini ve bilişsel talebin okuma yükünden ayrılmasını ister.
Sistem prompt'u tanınabilir öğrencilere bağlı performans verisini yasaklar. Kalibrasyon yalnızca madde özelliklerine ve bastırılmış toplamlara dayanır.
Kalibrasyon akışı soruları Airtable veya Google Sheets'ten okur ve izlence konuları birlikte Agent Chat node'una iletir.
Math node konu ve düzeyler arası dağılımı hesaplar. Dengesizlik bir izlenim değil, bir sayı olur. Create Excel incelenen kâğıdı üretir.
Human in the Loop grubundaki bir Email node seti sınav sorumlusuna gönderir. Soru bankaları yalnızca onaydan sonra güncellenir.
Bu agent nelerden oluşur
- Prompt skills: düzey tanımları, konu taksonomisi ve kâğıt ağırlığına göre beklenen dağılım.
- Prompt skills: etiketleri sonradan düzeltilmiş geçmiş kâğıtlar.
- System prompt: yeniden etiketleme, sorunun öğrenciden ne istediğinden argümanlanır. Okuma yükü talepten ayrılır.
- System prompt: kalibrasyona tanınabilir öğrenci performans verisi girmez.
- Airtable (Integration): agent'ın okuduğu ve değişiklik önerdiği soru bankasını tutar.
- Math (Util) ile Create Excel (Data): dağılım bir sayı olarak, ardından incelenen kâğıt.
- ActionFlow yeterli olduğunda: Madde sayısını konu ve beyan edilen düzey başına saymak iş buysa, iş akışını kurun. Bu sayım en kaba dengesizlikleri ortaya çıkarır.
Sık sorulan sorular
Bülten
Ürün güncellemelerini alın
Yeni node'lar, agent'lar ve ürün notları. Yalnızca açmaya değer bir şey varken e-posta göndeririz.