例外を処理するデータフローの設計
- レコードの重複除外、住所検証、ジオコーディングなど、データ品質処理を実行する初期データフロー。
- 処理できなかったレコードを特定する Exception Monitor ステージ。
- Write Exceptions ステージは、Exception Monitor ステージで特定された例外レコードを取得して、手動による確認のために例外リポジトリに書き出します。
- ブラウザベースのツールである Business Steward Portal を使用して、例外レコードを確認および編集することができます。編集したレコードは承認済みとしてマークされ、再処理できるようになります。
- 例外再処理ジョブは、Read Exceptions ステージを使用して、承認済みのレコードを例外リポジトリからジョブに読み込みます。このジョブは、通常は元のデータフローと同じロジックを使用して、訂正されたレコードの再処理を試みます。Exception Monitor ステージで、再度、例外の有無が確認されます。Write Exceptions ステージにより、例外は例外リポジトリに送り返され、追加の確認が行われます。
基本的な例外管理の実装を説明するシナリオ例を示します。
この例には 2 つのデータフローがあります。1 つは、入力レコードの郵便番号データを評価する初期データフロー、もう 1 つは、編集された例外を取得して、そのレコードに現在は有効な郵便番号データが含まれているかどうかを検証する例外再処理ジョブです。
どちらのデータフローにも Exception Monitor ステージがあります。このステージには、手動による確認のためにレコードをルーティングすべきかどうかの判断に使用する条件が含まれます。この条件は、PostalCode is
empty
など、1 つ以上の式で構成されます。この式は、郵便番号の含まれていないレコードを例外と見なし、Write Exceptions ステージにルーティングして、例外リポジトリに書き出すということを意味します。詳細については、「Exception Monitor」を参照してください。
Exception Monitor が例外として特定したレコードは、Write Exceptions ステージを使用して、例外リポジトリにルーティングされます。データ スチュワードが、例外レコードの確認および変更用のブラウザベースのツールである Business Steward Portal を使用して、リポジトリ内の例外を確認します。この例の場合、データ スチュワードは Business Steward Portal の例外エディターを使用して、例外レコードに手動で郵便番号を追加し、"承認済み" とマークできます。
Business Steward Portal で "承認済み" とマークされたレコードは、Spectrum™ Technology Platform データフローに再度読み込むことができます。この処理は、Read Exceptions ステージを使用して行われます。まだ例外となるレコードがある場合は、データ スチュワードによる確認のため、再度例外リポジトリに書き出されます。
- 例外レコードをどのように特定するか。Exception Monitor ステージでは、任意のフィールドの値、またはフィールドの組み合わせを評価して、レコードが例外かどうかを判断することができます。現在データフローから得ている結果を分析して、例外をどのように特定するかを決定する必要があります。明確に検証済みまたはエラーになったレコードではなく、中程度のデータ品質のレコードを特定したい場合があります。
- 元のデータフローで使用したものと同じロジックを使用して、編集済みおよび承認済みのレコードを再処理するか。その場合は、サブフローを使用して、再利用可能なビジネス ロジックを作成することができます。例えば、住所検証を実行する初期データフローと、訂正済みのレコードを再処理して訂正を検証する例外再処理ジョブで、サブフローを使用することができます。すると、2 つのデータフロー間で異なるソース ステージとシンク ステージを使用することができます。初期データフローには、処理するデータを顧客データベースから取得する Read from DB ステージが含まれることがあります。例外再処理ジョブには、例外リポジトリから編集済みおよび承認済みの例外レコードを取得する、Read Exceptions ステージが含まれます。
- 訂正済みおよび承認済みの例外をあらかじめ定められたスケジュールで再処理するか。その場合は、Management Console のスケジューリングを使用して、再処理ジョブをスケジュールすることができます。