Entwerfen eines Datenflusses zur Handhabung von Ausnahmen

Wenn Sie das Business Steward-Modul lizenziert haben, können Sie einen Ausnahmeverwaltungsprozess in Ihre Datenflüsse einschließen. Die Standardbausteine eines Ausnahmeverwaltungsprozesses umfassen:
  • Einen ursprünglichen Datenfluss, über den ein Datenqualitätsprozess durchgeführt wird, wie z. B. die Deduplizierung eines Datenflusses, eine Adressenüberprüfung oder Geocoding.
  • Ein Schritt vom Typ „Exception Monitor“, in dem Datensätze identifiziert werden, die nicht verarbeitet werden konnten.
  • Ein Schritt vom Typ „Write Exceptions“, in dem die im „Exception Monitor“-Schritt identifizierten Ausnahmedatensätze genommen und zur manuellen Überprüfung in die Ausnahme-Datenbank geschrieben werden.
  • Das Business Steward Portal, ein browserbasiertes Tool, mit dem Sie Ausnahmedatensätze überprüfen und bearbeiten können. Sobald die Datensätze bearbeitet wurden, werden sie als „Genehmigt“ markiert und stehen dann für die erneute Verarbeitung zur Verfügung.
  • Einen Auftrag zur erneuten Verarbeitung von Ausnahmen, der mithilfe des „Read Exceptions“-Schrittes genehmigte Datensätze aus der Ausnahme-Datenbank in den Auftrag liest. Anschließend wird in dem Auftrag versucht, die korrigierten Datensätze erneut zu verarbeiten. Normalerweise wird hierbei die gleiche Logik verwendet wie beim ursprünglichen Datenfluss. Im „Exception Monitor“-Schritt wird erneut überprüft, ob Ausnahmen vorliegen. Anschließend werden im „Write Exceptions“-Schritt Ausnahmen für eine zusätzliche Überprüfung zurück zur Ausnahme-Datenbank gesendet.
Im Folgenden wird ein Beispielszenario dargestellt, das die grundlegende Implementierung einer Ausnahmenverwaltung verdeutlicht:

In diesem Beispiel gibt es zwei Datenflüsse: den ursprünglichen Datenfluss, in dem die Postleitzahlendaten der Eingabedatensätze ausgewertet werden, und der Auftrag zur erneuten Verarbeitung von Ausnahmen, in dem anhand bearbeiteter Ausnahmen überprüft wird, ob die Datensätze jetzt gültige Postleitzahlendaten enthalten.

In beiden Datenflüssen gibt es den „Exception Monitor“-Schritt. Dieser Schritt enthält die Bedingungen, mit denen Sie bestimmen möchten, ob ein Datensatz zur manuellen Überprüfung weitergeleitet werden soll. Diese Bedingungen bestehen aus mindestens einem Ausdruck, z. B.: PostalCode is empty. Dies bedeutet, dass alle Datensätze, die keine Postleitzahl enthalten, als Ausnahme gelten, im „Write Exceptions“-Schritt weitergeleitet und in die Ausnahme-Datenbank geschrieben würden. Weitere Informationen finden Sie unter Exception Monitor.

Alle von Exception Monitor als Ausnahmen identifizierten Datensätze werden mithilfe des „Write Exceptions“-Schrittes an eine Ausnahme-Datenbank weitergeleitet. Data Stewards überprüfen die Ausnahmen in der Datenbank über das Business Steward Portal, einem browserbasierten Tool zum Anzeigen und Ändern von Ausnahmedatensätzen. In unserem Beispiel könnte der Data Steward mit dem Ausnahmen-Editor im Business Steward Portal manuell Postleitzahlen zu den Ausnahmedatensätzen hinzufügen und diese als „Genehmigt“ markieren.

Sobald ein Datensatz im Business Steward Portal als „Genehmigt“ markiert wurde, steht der Datensatz zum Einlesen in einen Spectrum™ Technology Platform-Datenfluss zur Verfügung. Dies geschieht durch Verwendung des „Read Exceptions“-Schrittes. Wenn bestimmte Datensätze weiterhin zu einer Ausnahme führen, werden sie erneut in die Ausnahme-Datenbank geschrieben, um von einem Data Steward überprüft zu werden.

Die folgenden Fragen sollen Ihnen dabei helfen, den besten Ansatz für Ihre Situation zu finden:
  • Wie sollen Ausnahmedatensätze identifiziert werden? Im „Exception Monitor“-Schritt kann der Wert eines beliebigen Feldes oder eine beliebige Kombination aus Feldern ausgewertet werden, um zu ermitteln, ob ein Datensatz eine Ausnahme darstellt. Sie sollten die Ergebnisse analysieren, die Sie derzeit über Ihren Datenfluss abrufen, um zu ermitteln, wie Ausnahmen identifiziert werden sollen. Sie sollten Datensätze im Mittelbereich der gleich bleibend hohen Datenqualität identifizieren und nicht Datensätze, die genau überprüft wurden oder deutlich fehlgeschlagen sind.
  • Sollen bearbeitete und genehmigte Ausnahmedatensätze mit der gleichen Logik erneut verarbeitet werden, die auch im ursprünglichen Datenfluss verwendet wurde? Wenn ja, dann sollten Sie einen Unterfluss verwenden, um eine wiederverwendbar Geschäftslogik zu erstellen. Der Unterfluss könnte beispielsweise in einem ursprünglichen Datenfluss verwendet werden, in dem die Adressenüberprüfung durchgeführt wird, und in einem Auftrag zur erneuten Verarbeitung von Ausnahmen, in dem die korrigierten Datensätze zur Überprüfung der Korrekturen erneut verarbeitet werden. Anschließend können Sie unterschiedliche Quellen- und Datenladeschritte für den Datenfluss und den Auftrag verwenden. Der ursprüngliche Datenfluss enthält möglicherweise den „Read from DB“-Schritt, in dem Daten zur Verarbeitung aus Ihrer Kundendatenbank entnommen werden. Der Auftrag zur erneuten Verarbeitung von Ausnahmen enthält möglicherweise den „Read Exceptions“-Schritt, in dem bearbeiteten und genehmigten Ausnahmedatensätze aus der Ausnahme-Datenbank entnommen werden.
  • Sollen korrigierte und genehmigte Ausnahmen in einem vordefinierten Zeitplan erneut verarbeitet werden? Wenn ja, können Sie Ihren Auftrag zur erneuten Verarbeitung über „Planung“ in der Management Console planen.