Les lignes rejetées sont le jeu de données qui vous dit ce qui cloche en amont
Quand les pipelines nettoient des données, ils écartent tout ce qu'ils ne peuvent pas traiter. La table propre a l'air fine. Elle n'explique pas pourquoi 11 % des lignes ont échoué.
Ces échecs pointent vers un problème dans le système amont. Quand le taux de rejet sur un champ particulier monte, un formulaire a changé, une intégration a cassé, ou un nouveau fournisseur envoie des données dans un autre format. La table propre ne le montre pas.
Les lignes en double demandent aussi du soin. Deux lignes qui se ressemblent peuvent être deux vrais événements. Une étape de déduplication qui les combine automatiquement retire un chiffre que personne ne peut reconstruire.
Le jugement est le point où une règle cède la place à une interprétation. Une règle peut analyser une date mal formatée de façon mécanique. Un nom d'entreprise sous trois orthographes exige une décision sur le fait que les variantes désignent la même entreprise.
Comment l'ActionFlow s'exécute sur le canevas
Les lignes brutes entrent par un nœud Document Upload, un nœud Google Sheets, ou un nœud HTTP Request qui les récupère depuis le système source.
Le nœud Validate agit en premier. Il fait le travail mécanique : contrôler les types, vérifier les champs requis, valider le format. Si une règle peut décider quelque chose, ce nœud s'en charge. Rien n'est passé à un modèle lorsqu'une règle aurait pu le traiter.
Un nœud Filter sépare les lignes valides des invalides. Il ne jette pas les lignes invalides. Il les place dans leur propre table, avec le champ en échec listé sur chaque ligne.
Un nœud Uniq retire les doublons exacts. Un nœud Sort arrange ensuite le reste pour que les quasi-doublons se côtoient.
Un nœud Generate Object ne traite que les cas qui ont survécu et ont encore l'air ambigus : orthographes variantes, catégories incohérentes, et valeurs possibles mais inhabituelles. Il ne réécrit pas les lignes. Il propose une normalisation et un niveau de confiance pour chaque ligne.
Un second nœud Filter utilise le seuil de confiance. Les normalisations à haute confiance sont ajoutées à la table propre via un nœud PostgreSQL, MySQL ou Google Sheets. Les autres vont dans une table de relecture.
Un nœud Create Excel produit un fichier qu'une personne peut travailler hors ligne comme partie de l'ensemble de relecture.
Nœuds utilisés par cet ActionFlow
- Document Upload (Data) : prend le fichier brut. Google Sheets et HTTP Request couvrent les autres sources.
- Validate (Data) : fait tout ce qu'une règle peut décider, avant qu'un modèle n'intervienne.
- Filter (Data) : sépare le valide de l'invalide et conserve l'ensemble invalide avec sa raison d'échec.
- Uniq (Control) : retire les doublons exacts sans fusionner de vrais événements répétés.
- Generate Object (AI Core) : propose des normalisations avec une confiance par ligne, sans rien réécrire.
- PostgreSQL (Data) : reçoit la table propre. MySQL et Google Sheets occupent le même emplacement.
- Create Excel (Data) : produit un fichier pour l'ensemble de relecture lorsqu'une personne travaille hors ligne.
Questions fréquentes
Newsletter
Recevoir les mises à jour produit
Nouveaux nœuds, agents et notes produit. Nous n'envoyons un e-mail que lorsqu'il vaut la peine de l'ouvrir.