Vollständigkeit ist keine Qualität, wenn niemand das Feld nutzt
Datenqualitätsberichte erwähnen jeden Mangel, aber sie werden ignoriert, weil eine Liste von 400 Problemen nicht zeigt, welche drei wichtig sind.
Ein Feld wird erst dann zum Problem, wenn es gelesen wird. Eine Spalte, die niemand seit zwei Jahren abgefragt hat, kann zu 90 % null sein, ohne Kosten. Sie in einem Bericht aufzunehmen, wenn ein Join-Schlüssel kaputt ist, verschwendet die Aufmerksamkeit der lesenden Person.
Ausreißer sind die schwerste Kategorie, ehrlich zu berichten. Ein Wert, der das Zehnfache des Normalen beträgt, ist manchmal ein Fehler und manchmal die größte Kundin oder der größte Kunde. Ein Bericht, der beides als Anomalien behandelt, wird abgetan.
Der Trend zählt mehr als die einzelne Größe. Eine Nullrate von 5 % für sich ist nur eine Tatsache. Fünf Prozent in dieser Woche gegenüber einem Prozent in der Vorwoche ist die Anomalie. Nur Vergleich macht das sichtbar.
So läuft der ActionFlow auf der Canvas
Ein Google-Sheets-Knoten hält Qualitätsregeln je Feld: erwarteter Typ, erwarteter Bereich, ob Nullwerte akzeptabel sind und welche Berichte vom Feld abhängen. Die Abhängigkeitsspalte bestimmt die Ordnung.
Ein Start Scheduled-Knoten führt den Scan aus. Ein PostgreSQL-, MySQL- oder MongoDB-Knoten liest die Tabellen.
Ein Validate-Knoten wendet die mechanischen Regeln an und erzeugt die rohe Vorgangsmenge. Ein Math-Knoten berechnet dann die Nullraten und Verteilungsgrenzen.
Der Google-Sheets-Knoten liefert die Zahlen aus dem jüngsten Lauf. Ein zweiter Math-Knoten berechnet die Änderung und kann einen stehenden Zustand von einem neuen unterscheiden.
Ein Generate Object-Knoten liest die Vorgangsmenge und die Abhängigkeitsspalte und erzeugt dann eine rangierte Liste. Jeder Punkt legt fest, was brechen würde, wenn der Vorgang andauerte. Ausreißer geben eine Einschätzung statt eines Flags zurück, und diese Einschätzung zeigt, wann der Wert ein Fehler ist und wann nicht.
Ein Filter-Knoten behält die Hauptvorgänge und hat einen eigenen Abschnitt für stehende Zustände, die sich nicht geändert haben.
Ein Slack-Knoten veröffentlicht die rangierte Liste. Ein Notion-Knoten archiviert den vollständigen Scan, sodass der nächste Lauf etwas zum Vergleichen hat.
Knoten, die dieser ActionFlow verwendet
- Google Sheets (Integration): hält Regeln je Feld und welche Berichte von jedem Feld abhängen.
- PostgreSQL (Data): liest die Tabellen. MySQL und MongoDB passen in denselben Slot.
- Validate (Data): wendet die mechanischen Regeln an und erzeugt die rohe Vorgangsmenge.
- Math (Util): berechnet Nullraten, Verteilungsgrenzen und die Änderung seit dem letzten Lauf.
- Generate Object (AI Core): rangiert Vorgänge danach, was bricht, und bewertet Ausreißer, statt sie zu markieren.
- Filter (Data): trennt neue Vorgänge von unveränderten stehenden Zuständen.
- Slack (Communication): postet die rangierte Liste.
- Notion (Integration): archiviert jeden Scan, sodass Änderung gemessen werden kann.
Häufige Fragen
Newsletter
Produktupdates erhalten
Neue Nodes, Agents und Produktnotizen. Wir senden E-Mails nur, wenn sich das Öffnen lohnt.