Impossible à reproduire est en général une condition manquante, pas un signalement faux
Les échecs de reproduction sont rarement le résultat d'un signalement erroné. L'utilisateur a bien vu le problème. La condition qui l'a provoqué (un état de compte précis, un ordre, un cache périmé, ou une connexion plus lente) n'est pas entrée dans le ticket, parce que l'utilisateur ne savait pas qu'elle était pertinente.
Pour trouver cette condition, on lit le récit pour les circonstances autour de l'échec, pas seulement pour ce que le ticket contient : ce qu'ils venaient de faire, depuis combien de temps la session était ouverte, et ce qui différait dans leur configuration.
Essayer les étapes est peu coûteux. Un récit ne devient une reproduction que lorsque vous variez une condition à la fois.
L'agent travaille dans un environnement hors production et utilise des données qui n'appartiennent à aucun client. Le rapport comprend tout ce qu'il a observé, y compris qu'il n'a pas pu reproduire le problème et tout ce qu'il a essayé.
Comment l'agent est construit dans Agent Studio
Les prompt skills portent les définitions d'environnement : quel environnement l'agent a le droit d'utiliser, quels comptes et fixtures y existent, et ce qu'il ne doit jamais toucher.
Le prompt système applique toutes les actions à cet environnement et exclut la production complètement, sans exception, y compris pour les lectures.
Le rapport doit séparer ce qui a été observé de ce qui a été inféré. Que l'agent ait réellement exécuté une étape et qu'il croie que cette étape fonctionnerait sont deux affirmations distinctes. Quand ces affirmations se mêlent, la reproduction n'est pas fiable.
Une tentative échouée doit rapporter chaque étape suivie. Un résultat négatif avec une liste de conditions est utile. Un simple « cannot » ne l'est pas.
Le nœud Agent Chat reçoit le rapport structuré du flux d'admission. Un nœud HTTP Request pilote l'application via sa propre interface dans l'environnement de test.
Les observations sont écrites dans Jira sur le ticket d'origine, y compris les étapes pour reproduire, et s'il ne peut pas être reproduit, une liste de tentatives.
L'agent n'utilise aucune donnée client. Il n'exécute aucune opération en production. Un nœud Human in the Loop retient toute demande de précisions au déclarant.
De quoi cet agent est constitué
- Prompt skills : l'environnement permis, ses comptes et fixtures, et ce qui n'est jamais touché.
- System prompt : production exclue entièrement, lectures comprises.
- System prompt : observé et inféré sont rapportés comme des affirmations distinctes.
- System prompt : une tentative échouée rapporte tout ce qui a été essayé.
- Agent Chat (Util) avec HTTP Request (Util) : le rapport structuré, et l'application pilotée dans l'environnement de test.
- Jira (Integration) : observations réécrites sur le ticket d'origine.
- Quand un ActionFlow suffit : Si structurer un rapport et demander ce qui manque résout une grande part des cas impossibles à reproduire d'eux-mêmes, construisez le flux de travail.
Questions fréquentes
Newsletter
Recevoir les mises à jour produit
Nouveaux nœuds, agents et notes produit. Nous n'envoyons un e-mail que lorsqu'il vaut la peine de l'ouvrir.