Nicht reproduzierbar ist meistens eine fehlende Bedingung, kein falscher Bericht
Fehlgeschlagene Reproduktionen sind selten die Folge eines irrigen Berichts. Die Nutzerin oder der Nutzer hat das Problem gesehen. Die Bedingung, die es ausgelöst hat (ein bestimmter Kontostand, eine Reihenfolge, ein veralteter Cache oder eine langsamere Verbindung), ist nicht ins Ticket gelangt, weil die Person nicht wusste, dass sie relevant ist.
Um diese Bedingung zu finden, lesen Sie die Erzählung nach den Umständen um den Fehlschlag, nicht nur nach dem, was das Ticket enthält: was unmittelbar zuvor getan wurde, wie lange die Session offen war und was am Setup anders war.
Die Schritte zu versuchen, ist günstig. Eine Erzählung wird erst zur Reproduktion, wenn Sie jeweils eine Bedingung variieren.
Der Agent arbeitet in einer Nicht-Produktionsumgebung und nutzt Daten, die keiner Kundin und keinem Kunden gehören. Der Bericht enthält alles, was er beobachtet hat, einschließlich dass er das Problem nicht reproduzieren konnte und alles, was er versucht hat.
So bauen Sie den Agent in Agent Studio auf
Prompt-Fähigkeiten halten die Umgebungsdefinitionen: welche Umgebung der Agent nutzen darf, welche Konten und Fixtures darin existieren und was er niemals anfassen darf.
Der System-Prompt wendet alle Handlungen auf diese Umgebung an und schließt Produktion vollständig aus, ohne Ausnahme, auch für Lesezugriffe.
Der Bericht muss Beobachtetes von Gefolgertem trennen. Ob der Agent einen Schritt tatsächlich ausgeführt hat und ob er glaubt, dass der Schritt funktionieren würde, sind zwei verschiedene Behauptungen. Werden diese Behauptungen vermischt, ist die Reproduktion unglaubwürdig.
Ein fehlgeschlagener Versuch muss jeden unternommenen Schritt berichten. Ein negatives Ergebnis mit einer Liste von Bedingungen ist nützlich. Die bloße Aussage „kann nicht“ ist es nicht.
Der Agent Chat-Knoten nimmt den strukturierten Bericht aus dem Aufnahme-Flow entgegen. Ein HTTP Request-Knoten steuert die Anwendung über ihre eigene Schnittstelle in der Testumgebung.
Beobachtungen werden in Jira auf dem ursprünglichen Issue geschrieben, einschließlich der Reproduktionsschritte, und wenn es nicht reproduziert werden kann, einer Liste der Versuche.
Der Agent nutzt keine Kundendaten. Er führt keine Operationen in der Produktion aus. Ein Human in the Loop-Knoten hält jede Anfrage nach zusätzlichen Angaben an die meldende Person.
Woraus dieser Agent besteht
- Prompt-Fähigkeiten: die erlaubte Umgebung, ihre Konten und Fixtures und was niemals angefasst wird.
- System-Prompt: Produktion vollständig ausgeschlossen, Lesezugriffe eingeschlossen.
- System-Prompt: Beobachtetes und Gefolgertes als getrennte Behauptungen berichtet.
- System-Prompt: ein fehlgeschlagener Versuch berichtet alles Versuchte.
- Agent Chat (Util) with HTTP Request (Util): der strukturierte Bericht und die Anwendung, in der Testumgebung gesteuert.
- Jira (Integration): Beobachtungen zurück auf das ursprüngliche Issue geschrieben.
- Wenn ein ActionFlow ausreicht: Wenn das Strukturieren eines Berichts und das Nachfragen nach Fehlendem einen großen Anteil der Fälle löst, die sich von selbst nicht reproduzieren lassen, bauen Sie den Workflow.
Häufige Fragen
Newsletter
Produktupdates erhalten
Neue Nodes, Agents und Produktnotizen. Wir senden E-Mails nur, wenn sich das Öffnen lohnt.