UAM ジョブのリファレンス データの抽出

このセクションでは、Validate Address ジョブのために各種のリファレンス データ ソースを取得して解凍する方法を説明します。リファレンス データは、eStore から取得します。
注: Validate Address および Validate Address Global ジョブでは、Hadoop クラスタのすべてのデータ ノードまたは Hadoop Distributed File System (HDFS) にリファレンス データが配置されている必要があります。Validate Address Loqate ジョブでは、リファレンス データが 1 つのノードに配置され、さらにそのデータがその他すべてのデータ ノードにマウントされている必要があります。

Validate Address Loqate

  1. eStore からリファレンス データを取得します。
  2. zip ファイルの内容を解凍します。
  3. 解凍したファイルを 1 つのノードに配置し、さらに他のすべてのデータ ノードにマウントします。

これで、これらのファイルをさまざまな MapReduce ジョブや Spark ジョブ、ユーザ定義関数で使うことができます。

Validate Address Global - Address Doctor

注: Validate Address Global - Address Doctor は、SPD 形式のリファレンス データをサポートしていません。
  1. eStore からリファレンス データを取得します。Validate Address Global の場合、取得するリファレンス データは次の 6 個のデータ バンドルに含まれています。
    • UAM - Enhanced International - Americas - Bundle Data: 南北アメリカ大陸のデータを含みます。
    • UAM - Enhanced International - EMEA - Bundle Data: 欧州、中東、およびアフリカのデータを含みます。
    • UAM - Enhanced International - APAC - Bundle Data: アジア太平洋地区のデータを含みます。
  2. 以上の zip ファイルをダウンロードし、HDFS に配置します。HDFS には zip ファイルを解凍して配置しないでください。
    注: リファレンス データをローカル ノードに配置するには、zip ファイルを解凍して、すべてのデータ ノードに配置します。すべてのデータ ノードでパスが同じになるように設定する必要があります。

これで、これらのファイルをさまざまな MapReduce ジョブや Spark ジョブ、ユーザ定義関数で使うことができます。

Validate Address - C1P

  1. eStore から以下のリファレンス データ バンドルを取得します。
    • US_SUB
    • DPV
    • EWS
    • LACS
    • SUITE
  2. データの抽出

データはがローカルまたはエッジ ノードに解凍され、ここから HDFS にプッシュして MapReduce ジョブや Spark ジョブ、Hive ユーザ定義関数で使うことができます。