La complétude n'est pas de la qualité si personne n'utilise le champ
Les rapports de qualité des données mentionnent chaque défaut, mais on les ignore parce qu'une liste de 400 problèmes ne montre pas lesquels trois sont importants.
Un champ ne devient un problème que lorsqu'il est lu. Une colonne que personne n'a interrogée depuis deux ans peut être à 90 % de valeurs nulles sans aucun coût. L'inclure dans un rapport quand une clé de jointure est cassée gaspille l'attention du lecteur.
Les valeurs aberrantes sont la catégorie la plus dure à rapporter honnêtement. Une valeur dix fois le montant normal est parfois une erreur et parfois le plus gros client. Un rapport qui traite les deux comme des anomalies est écarté.
La tendance compte plus que le chiffre isolé. Un taux de valeurs nulles de 5 % à lui seul n'est qu'un fait. Cinq pour cent cette semaine comparés à un pour cent la semaine dernière, c'est l'anomalie. Seule la comparaison rend cela visible.
Comment l'ActionFlow s'exécute sur le canevas
Un nœud Google Sheets tient les règles de qualité par champ : type attendu, plage attendue, si les valeurs nulles sont acceptables, et quels rapports dépendent du champ. La colonne de dépendance détermine l'ordre.
Un nœud Start Scheduled lance le balayage. Un nœud PostgreSQL, MySQL ou MongoDB lit les tables.
Un nœud Validate applique les règles mécaniques et produit l'ensemble brut d'anomalies. Un nœud Math calcule ensuite les taux de valeurs nulles et les bornes de distribution.
Le nœud Google Sheets fournit les chiffres de l'exécution la plus récente. Un second nœud Math calcule le changement et peut distinguer une condition installée d'une condition nouvelle.
Un nœud Generate Object lit l'ensemble d'anomalies et la colonne de dépendance, puis produit une liste classée. Chaque item précise ce qui casserait si le problème continuait. Les valeurs aberrantes renvoient une évaluation plutôt qu'un drapeau, et cette évaluation montre quand la valeur est une erreur et quand elle ne l'est pas.
Un nœud Filter garde les problèmes principaux, et a sa propre section pour les conditions installées qui n'ont pas changé.
Un nœud Slack publie la liste classée. Un nœud Notion archive le balayage complet, pour que l'exécution suivante ait de quoi comparer.
Nœuds utilisés par cet ActionFlow
- Google Sheets (Integration) : tient les règles par champ et quels rapports dépendent de chaque champ.
- PostgreSQL (Data) : lit les tables. MySQL et MongoDB occupent le même emplacement.
- Validate (Data) : applique les règles mécaniques et produit l'ensemble brut d'anomalies.
- Math (Util) : calcule les taux de valeurs nulles, les bornes de distribution, et le changement depuis la dernière exécution.
- Generate Object (AI Core) : classe les problèmes selon ce qui casse, et évalue les valeurs aberrantes plutôt que de les signaler.
- Filter (Data) : sépare les problèmes nouveaux des conditions installées inchangées.
- Slack (Communication) : publie la liste classée.
- Notion (Integration) : archive chaque balayage pour que le changement puisse se mesurer.
Questions fréquentes
Newsletter
Recevoir les mises à jour produit
Nouveaux nœuds, agents et notes produit. Nous n'envoyons un e-mail que lorsqu'il vaut la peine de l'ouvrir.